데이터 기반 의사결정을 위한 확률 및 분포 4-2]

프로모션 A:

• 전환한 고객수: 60명
• 전환하지 않은 고객수: 440명
• 전환율:  즉, 12%입니다.

프로모션 B:

• 전환한 고객수: 90명
• 전환하지 않은 고객수: 410명
• 전환율: 즉, 18%입니다.

따라서, 각 프로모션의 전환율을 계산해보면:

• 프로모션 A의 전환율은 12%
• 프로모션 B의 전환율은 18%

# A/B 프로모션별 전환 수와 비전환 수
# [전환한 고객 수, 전환하지 않은 고객 수]
promotion_A = [60, 440]  # A 프로모션 (전환율 60/(60+440) = 12%)
promotion_B = [90, 410]  # B 프로모션 (전환율 90/(90+410) = 18%)

# 카이제곱 검정을 위한 분할표 생성
conversion_table = np.array([promotion_A, promotion_B])

# 카이제곱 검정 수행
chi2_stat, p_value, dof, expected = stats.chi2_contingency(conversion_table)

# 결과 출력
print(f"Chi-Square Statistic: {chi2_stat:.4f}")
print(f"P-value: {p_value:.10f}")

# 해석
alpha = 0.05  # 유의수준 5%
if p_value < alpha:
    print("A/B 프로모션 간 전환율 차이가 유의미합니다.") # P-value < 0.05보다 작으므로
else:
    print("A/B 프로모션 간 전환율 차이가 유의미하지 않습니다.")

Chi-Square Statistic: 6.5961
P-value: 0.0102203630
A/B 프로모션 간 전환율 차이가 유의미합니다.

2) P-value: 0.0102203630 로 0.05보다 작으므로 전환율 차이가 유의미 하다

3) 유의미한 경우, 어떤 프로모션이 더 전환율이 높은지 해석하세요. B 프로모션이 전환율이 높다

[게임 데이터 쿠키캣 A/B 테스트]

• userid: 각 유저의 고유 ID
• version: A/B 테스트 그룹 (gate_30 vs gate_40)
• sum_gamerounds: 유저가 진행한 총 게임 라운드 수
• retention_1: 1일차(다음날) 재방문 여부 (True = 재방문, False = 이탈)
• retention_7: 7일차 재방문 여부

A/B 테스트 데이터를 사용하여 게임의 재방문 여부와 유저 행동에 대한 분석을 할 때, 게임 데이터에 포함된 주요 컬럼:

• userid: 각 유저의 고유한 식별자.
• version: A/B 테스트 그룹을 나타내며, gate_30과 gate_40 두 가지 그룹이 있을 수 있습니다.
• sum_gamerounds: 유저가 진행한 총 게임 라운드 수를 나타냅니다. 이는 유저의 활동성을 나타내는 중요한 지표입니다.
• retention_1: 1일차 재방문 여부로, 유저가 첫 게임 후 1일째에 재방문을 했는지 여부를 나타냅니다. (True = 재방문, False = 이탈)
• retention_7: 7일차 재방문 여부로, 유저가 첫 게임 후 7일째에 재방문을 했는지 여부를 나타냅니다.

분석 아이디어:

1. A/B 테스트 그룹 간 비교: version에 따른 1일차(retention_1) 및 7일차(retention_7) 재방문율을 비교하여 어느 그룹이 더 나은 성과를 보였는지 확인할 수 있다.
2. 유저 활동 분석: sum_gamerounds 값을 이용하여 게임 라운드 수와 재방문 여부 사이의 관계를 분석할 수 있습니다. 예를 들어, 게임 라운드 수가 많은 유저가 재방문하는 경향이 있는지 확인할 수 있다.
3. 유의미한 차이 검정: A/B 테스트의 유효성을 확인하려면, 두 그룹 간의 1일차 재방문율과 7일차 재방문율 차이를 카이제곱 검정(chi-square test) 또는 t-검정(t-test) 등을 통해 비교할 수 있다.
4. 세부 분석: sum_gamerounds와 retention_1, retention_7의 상관관계를 분석하여, 게임의 진행 횟수에 따라 유저의 재방문 가능성이 달라지는지 확인할 수 있다.

리텐션 분석

리텐션 분석은 사용자가 서비스나 제품을 지속적으로 사용하는 정도를 측정하는 중요한 지표. 

리텐션의 정의

리텐션(Retention)은 사용자 유지율을 의미합니다. 즉, 특정 기간 동안 서비스나 제품을 계속 사용하는 사용자의 비율을 나타냅니다.

리텐션 분석의 중요성

1. 사용자 행동 이해: 사용자가 언제, 왜 서비스를 계속 사용하는지 또는 이탈하는지 파악할 수 있습니다.
2. 제품 개선: 리텐션 데이터를 통해 제품의 강점과 약점을 식별하고 개선할 수 있습니다.
3. 비즈니스 성과 예측: 높은 리텐션은 일반적으로 더 나은 비즈니스 성과로 이어집니다.

리텐션 측정 방법

1. 기간별 리텐션

• 일일(D1) 리텐션: 첫 사용 후 다음 날 재방문한 사용자 비율
• 주간(D7) 리텐션: 첫 사용 후 7일 후 재방문한 사용자 비율
• 월간(D30) 리텐션: 첫 사용 후 30일 후 재방문한 사용자 비율

SMALL

2. 코호트 분석

사용자를 특정 기준(예: 가입 날짜)으로 그룹화하여 시간에 따른 리텐션 변화를 추적합니다.

1. 코호트(Cohort)란? 코호트는 특정한 공통된 특성을 가진 집단을 의미합니다. 주로 시간적 기준(가입일, 구매일 등)을 기반으로 그룹을 나누어 분석할 때 사용됩니다. 예), 2024년 1월에 가입한 사용자 그룹(코호트) 과 2024년 2월에 가입한 사용자 그룹(코호트) 를 나눠 분석할 수 있습니다. 2. 코호트별 차이란? 코호트별 차이는 서로 다른 코호트(집단) 간의 행동, 특성, 성과 등의 차이를 비교하는 것을 의미합니다. (1) 시간적 차이 같은 유형의 행동(예: 구매, 방문, 참여도)이라도 가입 시점이 다른 그룹(코호트)에 따라 차이가 발생할 수 있습니다. 예시: 1월 가입자는 평균적으로 3개월 후 구매하지만, 2월 가입자는 2개월 후 구매한다. (2) 행동적 차이 같은 조건에서도 코호트에 따라 행동 패턴이 다를 수 있습니다. 예시: A/B 테스트 결과, 특정 시기에 유입된 사용자의 유지율이 높거나 낮을 수 있음. (3) 외부 환경 차이 코호트가 형성된 시점의 경제 상황, 시장 트렌드, 프로모션 등이 차이를 유발할 수 있습니다. 예시: 블랙프라이데이에 유입된 코호트는 평소보다 평균 구매 금액이 더 높을 가능성이 있음. 3. 코호트별 차이를 분석하는 방법 (1) 코호트 분석 테이블 가입 시점별 잔존율(Retention Rate) 또는 구매율을 확인하는 표를 만들 수 있습니다. 예제: 1월 가입자는 3개월 후 50%가 남아있지만, 2월 가입자는 45%만 유지됨 → 코호트별 유지율 차이가 존재 (2) 코호트별 평균 행동 분석 각 코호트별 평균 구매 금액, 재방문율, 이탈률 등을 비교하여 차이를 확인할 수 있음. (3) A/B 테스트와 조합하여 분석 특정 프로모션이 코호트별로 다르게 작용하는지 확인 가능. 4. 코호트별 차이를 고려해야 하는 이유 고객 맞춤 전략 수립: 특정 코호트에 맞는 맞춤형 마케팅이 가능함. 제품 개선 방향 결정: 특정 시점의 고객 이탈률이 높은 경우, 원인을 찾아 해결할 수 있음. 시장의 변화 반영: 외부 환경 요인을 반영하여 지속적인 최적화 가능. 5. 결론 코호트별 차이는 그룹을 시간, 행동, 환경 기준으로 나누어 분석할 때 발생하는 차이임. 차이를 분석하면 사용자 유지, 마케팅, 제품 개선 전략을 더욱 효과적으로 수립할 수 있음. 코호트 분석을 활용하면 단순 평균 데이터보다 더 심층적인 인사이트를 얻을 수 있음.

리텐션 분석 단계

1. 데이터 수집: 사용자 활동 로그, 로그인 기록 등을 수집합니다.
2. 코호트 정의: 분석할 사용자 그룹을 정의합니다.
3. 리텐션 계산: 각 기간별 리텐션을 계산합니다.
4. 시각화: 리텐션 곡선이나 히트맵을 통해 데이터를 시각화합니다.
5. 분석 및 인사이트 도출: 리텐션 패턴을 분석하고 개선 포인트를 찾습니다.

리텐션 개선 전략

1. 온보딩 최적화: 초기 사용자 경험을 개선하여 초기 이탈을 줄입니다.
2. 핵심 가치 전달: 제품의 핵심 가치를 사용자에게 빠르게 전달합니다.
3. 개인화: 사용자 맞춤 경험을 제공합니다.
4. 지속적인 참여 유도: 알림, 이메일 등을 통해 사용자 참여를 유도합니다.
5. 피드백 루프: 사용자 피드백을 지속적으로 수집하고 반영합니다.

리텐션 분석은 단순히 숫자를 추적하는 것이 아니라, 사용자의 행동과 니즈를 깊이 이해하고 제품을 지속적으로 개선하는 과정입니다. 이를 통해 장기적으로 성공적인 제품과 서비스를 구축할 수 있습니다.

---

리텐션 커브의 주요 유형과 그에 따른 해석 방법

1. 감소 곡선 (Declining Curve)

• 특징: 시간이 지남에 따라 지속적으로 하락하여 결국 0에 가까워집니다.
• 해석:
  • 제품이 시장에서 실패했거나 사용자 유지에 어려움을 겪고 있음을 나타냅니다.
  • 사용자들이 제품의 가치를 지속적으로 느끼지 못하고 있습니다.
• 예시: 데이팅 앱에서 사용자가 파트너를 찾은 후 앱 사용을 중단하는 경우

2. 평탄화 곡선 (Flattening Curve)

• 특징: 초기에 감소하다가 일정 수준에서 안정화됩니다.
• 해석:
  • 일부 사용자들이 제품에서 지속적인 가치를 발견했음을 의미합니다.
  • 곡선이 높은 수준에서 평탄화될수록 장기적인 리텐션이 좋고 제품이 건강하다고 볼 수 있습니다
• 목표: 대부분의 제품이 지향해야 할 이상적인 곡선 형태입니다.

3. 스마일 곡선 (Smile Curve)

• 특징: 초기에 감소하다가 다시 상승하는 U자 형태를 보입니다.
• 해석:
  • 제품이 매우 뛰어나며 강력한 제품-시장 적합성을 가지고 있음을 나타냅니다.
  • 네트워크 효과로 인해 이전에 이탈한 사용자들이 다시 돌아오는 현상을 보여줍니다
• 예시: Airbnb, Slack과 같은 네트워크 효과가 큰 제품

4. 단기 상승 곡선 (Temporary Spike)

• 특징: 일시적으로 상승했다가 다시 감소하는 패턴을 보입니다.
• 해석:
  • 마케팅 캠페인, 푸시 알림 등 외부 요인으로 인한 일시적인 사용자 활성화를 나타냅니다.
  • 지속 가능한 리텐션 패턴은 아니지만, 초기 사용자 활성화에는 유용할 수 있습니다

리텐션 커브를 분석할 때는 단순히 형태만 보는 것이 아니라, 시간에 따른 변화, 코호트별 차이, 제품의 특성 등을 종합적으로 고려해야 합니다. 또한, 곡선이 평탄화되는 지점과 수준을 개선하는 것이 장기적인 사용자 유지 전략의 핵심이 될 수 있습니다.



데이터로 가치를 만드는 Steven, Follow on LinkedIn