통계학자 없이 A/B 테스트 결과를 분석하는 방법 (2026년 가이드)
A/B 테스트 결과를 분석하려면 하나의 기본 지표를 기준으로 두 그룹을 비교하세요. 그 차이가 일반적인 무작위 변동보다 큰지 확인한 다음, 실제 차이가 존재할 수 있는 범위를 제시해야 합니다. Excel로 산술 계산을 할 수는 있지만, 보통 그 과정에서 내리는 주관적 판단에서 오류가 발생하곤 합니다.
이 가이드는 수치를 확인하기 전에 준비해야 할 사항과 테스트를 수동으로 실행하는 방법을 다룹니다. 또한 수동 방식의 한계가 어디인지, 그리고 결과를 왜곡 없이 정직하게 읽는 방법도 설명합니다.
테스트 결과를 읽기 전에 반드시 준비해야 할 것들
결과의 유의미 여부를 결정하는 네 가지 요소가 있습니다. 먼저 이것들을 확보하세요.
테스트 실행 전에 선택한 하나의 기본 지표. 전환율, 방문자당 매출, 또는 활성화율 등이 있습니다. 미리 선택해 두어야 합니다. 데이터를 확인한 후에 지표를 고르는 것은 팀이 스스로 승리했다고 합리화하는 지름길입니다.
백분율뿐만 아니라 가공되지 않은 원시 수치. 3%의 상승은 방문자가 200명일 때와 200,000명일 때 완전히 다른 의미를 갖습니다. 분모가 되는 전체 수치가 필요합니다.
전체 테스트 기간. 주중과 주말의 행동 패턴이 다르기 때문에, 일주일 중 일부 기간만 테스트하면 결과가 왜곡됩니다. 온전한 주 단위로 테스트를 실행하세요.
변경 사항에 대한 기록. 테스트당 하나의 변수만 지정해야 합니다. 헤드라인과 버튼 색상을 동시에 변경하면, 어떤 통계 분석으로도 두 변수의 효과를 분리해낼 수 없습니다.
이 네 가지 중 하나라도 누락되었다면 계산을 시작하기 전에 멈추세요. 결함이 있는 테스트에 정밀한 계산을 적용해 봤자, 확신에 찬 오답만 얻을 뿐입니다.
모든 A/B 테스트가 답해야 하는 두 가지 질문
모든 결과는 결국 두 가지 질문으로 귀결되며, 이 둘은 혼동하기 쉽습니다.
차이가 실제로 존재하는가? 이는 유의성(significance)에 관한 질문입니다. 두 버전의 실제 성능이 완전히 동일하다고 가정할 때, 이 정도로 큰 차이가 나타날 확률이 얼마나 되는지 묻는 것입니다. p-value가 이에 대한 답을 줍니다. 관례적으로 0.05 미만이면 행동을 취할 만큼 우연일 가능성이 낮다고 판단합니다.
차이가 유의미할 만큼 충분히 큰가? 이는 효과 크기(effect size)에 관한 질문입니다. 신뢰구간(confidence interval)이 실제 차이가 존재할 법한 범위를 제시함으로써 이에 답합니다. 통계적으로 유의미한 0.2%의 상승이라 하더라도, 개발 비용을 감당할 만큼 가치 있지 않을 수 있습니다.
통계적으로 유의미하지만 효과가 미미한 테스트 결과를 오독하는 것은 흔하면서도 비용이 많이 드는 실수입니다. 이 두 가지 질문에 순서대로 답하세요. 두 수치를 함께 보고해야 합니다. p-value만 듣는 팀은 유의미한 결과가 나오기만 하면 무조건 배포 가능한 것으로 취급하기 때문입니다.
Excel을 이용한 수동 분석 방법
Excel은 이 작업을 기본적으로 지원합니다. 분석 방식은 테스트하려는 지표의 종류에 따라 달라집니다.
두 그룹을 나란히 배치하기
변형(variant)당 하나의 열을 지정합니다. 방문자당 매출과 같은 연속형 지표의 경우 각 행은 한 방문자의 수치입니다. 전환율의 경우 각 행은 1 또는 0이 됩니다. 수식 계산에 원시 데이터의 분포가 필요하므로, 요약된 데이터가 아닌 원시 행 데이터를 그대로 유지하세요.
연속형 지표에는 T.TEST 사용하기
T.TEST(array1, array2, tails, type)는 Student's t-test와 관련된 확률을 반환합니다. 한쪽 방향만 유의미하다고 미리 결정하지 않았다면 tails = 2를 사용하세요. type의 경우, 대응표본에는 1을, 두 그룹의 분산이 같을 때는 2를, 다를 때는 3을 사용합니다. 대부분의 웹 테스트에서는 이분산 독립표본(Two-sample unequal variance)인 3을 기본값으로 사용하는 것이 안전합니다.
이 수식은 p-value를 직접 반환합니다. Microsoft의 T.TEST 함수 페이지에서 인수에 대한 자세한 설명을 확인할 수 있습니다.
전환율은 다르게 처리하기
전환율은 연속형 측정이 아닌 비율입니다. 표준적인 접근법은 두 비율의 z-검정(two-proportion z-test)이지만, Excel에는 이를 처리하는 단일 함수가 없습니다. 실행 가능한 두 가지 옵션이 있습니다.
합동 비율(pooled proportion)과 표준 오차(standard error)를 이용해 z-검정을 수동으로 구축한 다음, NORM.S.DIST를 사용하여 점수를 p-value로 변환합니다. 또는 변형별로 전환됨과 전환되지 않음으로 구성된 2x2 분할표를 만듭니다. 기대 빈도를 계산한 다음, CHISQ.TEST를 사용하여 p-value를 구합니다.
두 방법 모두 유효합니다. 다만 테스트 구조가 바뀔 때마다 매번 새로 구축해야 합니다.
수동 방식의 한계
세 가지 요인이 수동 방식을 무너뜨립니다.
p-value만으로는 상승 폭의 크기를 알 수 없으므로, 별도의 신뢰구간 계산이 여전히 필요합니다. 여러 지표를 테스트하면 위양성(false-positive) 비율이 곱절로 늘어나지만, 시트의 그 어떤 것도 이에 대해 경고해 주지 않습니다. 또한 새로운 테스트를 할 때마다 형태가 다른 내보내기 데이터에 맞춰 동일한 수식을 매번 다시 만들어야 합니다.
간과하기 쉬운 네 번째 비용도 있습니다. 시트를 만든 사람만이 그 시트를 검증할 수 있는 유일한 사람이 된다는 점입니다.
단 한 번의 테스트라면 수동 방식도 괜찮습니다. 하지만 매주 테스트를 진행하는 프로그램이라면 일 년에 50번씩 똑같은 시트를 다시 만들고 있게 될 것입니다.
Powerdrill Bloom으로 A/B 테스트 결과 분석하는 방법
테스트 데이터가 이미 내보낸 파일 형태로 존재한다면, 수식을 조합하는 번거로운 과정을 건너뛸 수 있습니다.
1단계: 테스트 데이터 업로드하기
테스트 도구나 데이터베이스에서 내보낸 Excel, CSV 또는 TSV 파일을 끌어다 놓으세요. 여러 파일을 동시에 로드할 수 있으므로, 이벤트 파일과 사용자 파일을 한 번에 비교할 수 있습니다. 업로드 시 열 감지 및 데이터 정제 작업이 자동으로 실행됩니다.
2단계: 자연어로 비교 내용 설명하기
동료에게 질문하듯 자연스럽게 질문을 입력하세요. 예를 들어 "변형 A와 B의 전환율을 비교하고, 차이가 유의미한지 알려주고, 신뢰구간을 제시해 줘"라고 입력할 수 있습니다. 에이전트가 지표 유형에 맞는 적절한 검정 방법을 선택하여 p-value와 신뢰구간을 보고하고, 어떤 검정이 사용되었는지 설명합니다. 세그먼트별 분석을 요청하면 수식을 다시 만들 필요 없이 분석을 재실행합니다.
3단계: 차트, 보고서 또는 슬라이드 덱 내보내기
결과를 차트로 내보내거나, 서면 요약본에 통합하거나, 캔버스를 발표용 슬라이드로 변환할 수 있습니다. Professional, Business, Fancy 스타일 모두 PowerPoint나 Notion으로 내보낼 수 있습니다. 시각화 측면에서는, 데이터 시각화 도구를 통해 동일한 업로드 파일에서 사용할 수 있는 다른 차트 유형들을 지원합니다.
과장 없이 결과를 올바르게 읽는 방법
| 보이는 것 | 실제 의미 | 의미하지 않는 것 |
|---|---|---|
| p = 0.03 | 실제 차이가 없다면 이 정도로 큰 차이가 나타날 가능성은 낮음 | B가 더 나을 확률이 97%라는 뜻은 아님 |
| p = 0.20 | 결론을 내리기에는 증거가 부족함 | 두 버전이 동일하다는 증거는 아님 |
| 구간 −1% ~ +6% | 실제 상승 폭이 음수(-)일 수도 있음 | 중간값이 2.5%라 하더라도, 2.5% 상승을 의미하는 것은 아님 |
| 유의미하지만 0.2% 상승 | 실제 차이는 존재하나, 배포할 가치는 없을 가능성이 큼 | 그 자체로 비즈니스적 성공을 의미하지는 않음 |
| 8개 지표 중 1개에서 유의미함 | 단순히 우연에 의해 발생할 수 있는 수준임 | 새로운 발견이 아님 |
반올림도 정직하게 해야 합니다. 상승 폭을 소수점 둘째 자리까지 보고하는 것은 표본 크기가 뒷받침하지 못하는 정밀함을 가장하는 것과 같습니다.
결론은 범위를 포함한 문장으로 작성하세요. "변형 B가 전환율을 1%에서 5% 사이로 향상시켰습니다"가 정직한 표현입니다. 신뢰구간 전체가 0보다 큰 경우가 아니라면, "변형 B의 승리"라는 표현은 정직하지 않습니다.
흔히 하는 실수들
처음으로 유의미해 보이는 순간에 테스트를 중단하는 것. 반복적으로 확인하다가 처음으로 좋은 결과가 나왔을 때 중단하는 것은 위양성(false positive) 비율을 심각하게 부풀립니다. 표본 크기와 종료 날짜를 미리 결정하고 기다리세요.
8개의 지표를 테스트하고 그중 승리한 것만 보고하는 것. 지표 수가 충분히 많으면 그중 일부는 우연히 0.05를 넘기게 마련입니다. 사전에 기본 지표를 명시하고, 나머지는 참고 맥락으로만 취급하세요.
분모를 무시하는 것. 표본 크기가 작으면 백분율 변동이 극적으로 보일 수 있습니다. 항상 비율 옆에 실제 수치를 함께 표시하세요.
사후에 유의미한 결과가 나올 때까지 세그먼트를 쪼개는 것. 기기, 국가, 채널별로 데이터를 쪼개어 유의미한 세그먼트가 나올 때까지 찾는 것은 형태만 다를 뿐 동일한 오류입니다. 관심 있는 세그먼트를 사전에 등록해 두세요.
처음부터 비교 대상이 될 수 없었던 그룹들을 비교하는 것. 트래픽이 불균등하게 분할되었거나 변형들이 서로 다른 날에 실행되었다면, 측정된 차이에는 그러한 불균형의 영향도 포함됩니다.
무효 결과(null result)를 실패로 취급하는 것. 차이가 없음을 보여주는 테스트도 가치 있는 실제 정보입니다. 이는 노력만 들고 아무런 성과도 내지 못할 변경 사항을 배포하는 불상사를 막아줍니다.
요약
A/B 테스트 결과 분석은 결국 두 가지 답으로 귀결됩니다. 차이가 실제 존재하는가, 그리고 유의미할 만큼 충분히 큰가입니다. Excel은 T.TEST를 통해 첫 번째 답을 제공하지만, 두 번째 답은 사용자가 직접 구성해야 합니다. 비율 데이터는 연속형 지표와 다른 검정 방법이 필요하지만, 대부분의 사람들이 이 단계를 건너뜁니다.
테스트를 정기적으로 실행한다면, 매번 수식을 다시 만드는 과정은 생략하는 것이 좋습니다. Powerdrill Bloom을 무료로 체험해 보세요 — 내보낸 파일을 업로드하고, 자연어로 비교를 요청한 뒤, 분석 결과를 내보내기만 하면 됩니다. 도구 옵션에 대해서는 A/B 테스트 분석을 위한 AI 도구를, 기초 작업에 대해서는 기술 통계 실행 방법을 참조하세요.
자주 묻는 질문
A/B 테스트 결과가 유의미한지 어떻게 알 수 있나요?
기본 지표를 기준으로 두 그룹을 비교하고 p-value를 계산하세요. 일반적으로 0.05 미만이면 차이가 우연일 가능성이 낮다고 판단하는 기준이 됩니다. 유의성 자체만으로는 차이의 크기를 알 수 없으므로, 반드시 신뢰구간과 함께 확인해야 합니다.
Excel에서 A/B 테스트 결과를 분석할 수 있나요?
네, 가능합니다. 방문자당 매출과 같은 연속형 지표에는 T.TEST를 사용하세요. 전환율은 비율이므로 두 비율의 z-검정이나 2x2 분할표를 이용한 카이제곱 검정이 필요합니다. Excel에는 두 비율 검정을 위한 단일 내장 함수가 없습니다.
A/B 테스트에 필요한 표본 크기는 얼마인가요?
기준 비율(baseline rate)과 감지할 가치가 있는 최소 상승 폭에 따라 다릅니다. 예상되는 상승 폭이 작을수록 훨씬 더 큰 표본이 필요합니다. 테스트를 시작하기 전에 목표 수치를 계산하고, 결과가 좋아 보인다고 중간에 멈추는 대신 해당 수치에 도달할 때까지 테스트를 진행하세요.
p-value가 실제로 말해주는 것은 무엇인가요?
두 버전의 실제 성능이 동일할 때 최소 이 정도 크기의 차이가 관찰될 확률을 나타냅니다. 낮은 p-value는 우연으로 설명하기 어렵다는 것을 의미합니다. 이는 귀하의 변형이 더 우수할 확률을 의미하는 것이 아닙니다.
왜 제 A/B 테스트 결과에 차이가 없는 것으로 나타났나요?
세 가지 흔한 원인이 있습니다. 효과를 감지하기에 표본 크기가 너무 작았거나, 행동 변화를 이끌어내기에 변경 사항이 너무 미미했거나, 혹은 실제로 차이가 없는 경우입니다. 무효 결과(null result) 역시 가치 있는 실제 발견이며, 아무런 성과도 내지 못할 변경 사항을 배포하지 않도록 보호해 줍니다.