A/B 테스트 설계

문제 설명

E-commerce 사이트의 결제 버튼 색상 변경에 대한 A/B 테스트를 설계하고 분석하세요.

현재 상황

• 일 방문자: 100,000명
• 현재 전환율: 3.2%
• 목표: 전환율 10% 향상 (3.2% → 3.52%)

설계 항목

1. 가설 설정
   • 귀무가설 (H0)
   • 대립가설 (H1)
2. 샘플 크기 계산
   • 유의수준 (α): 0.05
   • 검정력 (1-β): 0.80
3. 실험 기간
4. 트래픽 분배
5. 성공 지표

분석 방법

• Chi-square 검정
• 신뢰구간 계산
• p-value 해석

결과 데이터

Control (A): 50,000명 방문, 1,600명 전환
Variant (B): 50,000명 방문, 1,760명 전환