칼퇴공장전체 도구 →
A/B 테스트 계산기
실험 전 필요한 표본·기간을 정하고, 끝난 뒤 유의성·베이지안 승률·SRM을 한 화면에서 판정합니다. 객단가 같은 평균 지표(Welch t검정)와 인쇄용 실험 보고서까지 만듭니다.
실험 설계 조건
필요 표본·실험 기간
그룹별 방문자·전환
판정
빈도주의 검정 (A 대비)
베이지안 (사전분포 Beta(1,1))
기대 손실 = 그 안을 골랐는데 실제로는 다른 안이 더 좋을 때 평균적으로 잃는 전환율(%p). 기대 손실이 감당할 만한 값(예: 기준 전환율의 1%)보다 작으면 그 안을 골라도 됩니다. 2개 비교는 수치 적분, 3개 이상 「최고일 확률」은 시드 고정 몬테카를로(40,000회)입니다.
SRM 검사 (표본 비율 불일치)
평균 비교 (Welch t검정)
원자료를 붙여 넣어 평균·표준편차 구하기
주문 금액 등을 한 줄에 하나씩(또는 쉼표·탭으로) 붙여 넣으세요. 엑셀이라면 =AVERAGE(), =STDEV.S() 와 같은 값입니다.
결과
이 지표로 실험한다면 필요한 표본
실험 가설 기록지
실험을 시작하기 전에 가설과 결정 기준을 적어 두면, 결과를 보고 기준을 바꾸는 일(사후 합리화)을 막을 수 있습니다.
실험 보고서
계산 근거: 표본 크기는 두 비율 정규근사식(Fleiss, 연속성 보정 없음)과 아크사인(Cohen h) 방식, 유의성은 합동 비율 z검정(= 연속성 보정 없는 카이제곱), 신뢰구간은 Wald, 평균은 Welch–Satterthwaite t검정, SRM은 카이제곱 적합도(p < 0.001 경고)를 씁니다. scipy·statsmodels 결과와 대조해 검증했습니다. 결과는 의사결정 참고용이며 중요한 결정은 분석 담당자와 함께 확인하세요.