A/B 테스트 FAQ

A/B 테스트 설계, 운영, 결과 해석에 관한 자주 묻는 질문입니다.

핵클에서 A/B 테스트를 설계하고 운영할 때 자주 묻는 질문입니다.

어느 정도의 사용자가 있으면 테스트할 수 있나요?

정해진 최소 사용자 수는 없습니다. 다만 일 트래픽이 100명 이상이면 좋습니다.

---

통계 지식이 없어도 테스트할 수 있나요?

가능합니다. 핵클은 결과의 통계적 유의미성을 시각적으로 제공합니다.

버튼 클릭률이나 구매 전환율 같은 목표의 결과를 확인할 수 있습니다. Raw data를 추가 분석할 때는 통계 지식이 도움이 됩니다.

---

결과를 분석할 때 무엇을 유의해야 하나요?

최소 1~2주 동안 테스트하세요. 일시적인 결과만 보고 테스트를 조기에 종료하지 마세요.

요일 영향으로 인한 왜곡을 줄이려면 최소 1주에서 2주가 필요합니다. 테스트를 일찍 종료하면 왜곡된 결론에 이를 수 있습니다.

---

같은 지표인데 A/B 테스트와 데이터 분석의 값이 다른 이유는 무엇인가요?

두 기능의 집계 시점이 다르기 때문입니다.

A/B 테스트는 분배 시점 이후 발생한 분모와 분자 이벤트를 계산합니다. 데이터 분석은 이벤트의 순수 발생 여부를 계산합니다.

이벤트의 전후 관계를 반영하는 A/B 테스트와 달리 데이터 분석은 전후 관계를 고려하지 않습니다. 따라서 같은 지표여도 값이 다를 수 있습니다.

---

그룹 간 샘플 크기가 균등하지 않으면 어떤 문제가 생기나요?

작은 그룹의 변동성이 과도하게 반영되어 p-value가 왜곡될 수 있습니다. 결과의 신뢰도가 낮아질 수 있습니다.

---

실험 진행 중 일부 실험 그룹을 제외하면 어떻게 되나요?

제거한 그룹의 사용자는 실험 대상에서 제외됩니다. 해당 사용자는 그룹 A 화면을 봅니다. 남은 그룹으로 실험은 계속됩니다.

---

일부 트래픽만 할당한 실험에서 Winner 그룹을 설정하면 어떻게 되나요?

전체 트래픽이 Winner 그룹으로 분배됩니다. 타겟팅 조건을 충족하지 않는 사용자는 그룹 A로 할당됩니다.

---

테스트 기기에서 발생한 데이터도 실험 결과에 반영되나요?

일반적으로 반영되지 않습니다. 다만 테스트 기기를 등록하기 전에 이미 노출됐다면 반영될 수 있습니다.

---

왜 실험군만 보지 않고 비실험군도 포함하나요?

실제 전체 도입 시에는 모든 사용자에게 적용되기 때문입니다.

비실험군의 현재 행동 수준은 Site-wide 결과에 큰 영향을 미칩니다.

---

실험 참여율이 낮으면 Site-wide 효과도 작아지나요?

맞습니다. 참여율이 낮을수록 비실험 사용자의 기존 지표 비중이 커집니다.

따라서 Site-wide 효과는 희석됩니다.

---

특정 OS나 코호트만 대상으로 한 실험도 전사 적용을 예측할 수 있나요?

가능합니다. iOS 실험도 Android를 포함한 전체 사용자 관점에서 계산합니다.

다만 OS별 또는 코호트별 행동 차이가 크면 예측 정확도가 달라질 수 있습니다.

---

전사 영향도 지표로 선택할 수 없는 지표가 있나요?

이벤트 지표의 분모가 전체 노출 횟수인 경우는 지원하지 않습니다.

시간 지표, 퍼널 지표, 리텐션 지표도 지원하지 않습니다.

---

전사 영향도 지표 결과가 계산되지 않아요.

전사 영향도 지표는 다른 지표와 다르게 하루에 한 번 계산됩니다.

---

A/B 테스트 Raw Data가 필요합니다.

데이터 추출은 엔터프라이즈 플랜 이상의 유료 요금제에서 사용할 수 있습니다.

대시보드에서 테스트 그룹 분배 데이터와 이벤트 데이터를 추출할 수 있습니다.

1

테스트를 선택하세요

Raw Data가 필요한 A/B 테스트 상세 화면으로 이동합니다.

2

데이터를 요청하세요

제목 오른쪽의 ... → 데이터 추출하기를 선택합니다.

3

CSV 파일을 다운로드하세요

등록된 이메일로 받은 링크에서 CSV 파일을 다운로드합니다.