> For the complete documentation index, see [llms.txt](https://docs.hackle.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.hackle.io/ab-test/a-b-faq.md).
# A/B 테스트 FAQ
핵클에서 A/B 테스트를 설계하고 운영할 때 자주 묻는 질문입니다.
#### 어느 정도의 사용자가 있으면 테스트할 수 있나요?
정해진 최소 사용자 수는 없습니다. 다만 일 트래픽이 100명 이상이면 좋습니다.
***
#### 통계 지식이 없어도 테스트할 수 있나요?
가능합니다. 핵클은 결과의 통계적 유의미성을 시각적으로 제공합니다.
버튼 클릭률이나 구매 전환율 같은 목표의 결과를 확인할 수 있습니다. Raw data를 추가 분석할 때는 통계 지식이 도움이 됩니다.
***
#### 결과를 분석할 때 무엇을 유의해야 하나요?
최소 1\~2주 동안 테스트하세요. 일시적인 결과만 보고 테스트를 조기에 종료하지 마세요.
{% hint style="warning" %}
요일 영향으로 인한 왜곡을 줄이려면 최소 1주에서 2주가 필요합니다. 테스트를 일찍 종료하면 왜곡된 결론에 이를 수 있습니다.
{% endhint %}
***
#### 같은 지표인데 A/B 테스트와 데이터 분석의 값이 다른 이유는 무엇인가요?
두 기능의 집계 시점이 다르기 때문입니다.
A/B 테스트는 분배 시점 이후 발생한 분모와 분자 이벤트를 계산합니다. 데이터 분석은 이벤트의 순수 발생 여부를 계산합니다.
이벤트의 전후 관계를 반영하는 A/B 테스트와 달리 데이터 분석은 전후 관계를 고려하지 않습니다. 따라서 같은 지표여도 값이 다를 수 있습니다.
***
#### 그룹 간 샘플 크기가 균등하지 않으면 어떤 문제가 생기나요?
작은 그룹의 변동성이 과도하게 반영되어 p-value가 왜곡될 수 있습니다. 결과의 신뢰도가 낮아질 수 있습니다.
***
#### 실험 진행 중 일부 실험 그룹을 제외하면 어떻게 되나요?
제거한 그룹의 사용자는 실험 대상에서 제외됩니다. 해당 사용자는 그룹 A 화면을 봅니다. 남은 그룹으로 실험은 계속됩니다.
***
#### 일부 트래픽만 할당한 실험에서 Winner 그룹을 설정하면 어떻게 되나요?
전체 트래픽이 Winner 그룹으로 분배됩니다. 타겟팅 조건을 충족하지 않는 사용자는 그룹 A로 할당됩니다.
***
#### 테스트 기기에서 발생한 데이터도 실험 결과에 반영되나요?
일반적으로 반영되지 않습니다. 다만 테스트 기기를 등록하기 전에 이미 노출됐다면 반영될 수 있습니다.
***
#### 왜 실험군만 보지 않고 비실험군도 포함하나요?
실제 전체 도입 시에는 모든 사용자에게 적용되기 때문입니다.
비실험군의 현재 행동 수준은 Site-wide 결과에 큰 영향을 미칩니다.
***
#### 실험 참여율이 낮으면 Site-wide 효과도 작아지나요?
맞습니다. 참여율이 낮을수록 비실험 사용자의 기존 지표 비중이 커집니다.
따라서 Site-wide 효과는 희석됩니다.
***
#### 특정 OS나 코호트만 대상으로 한 실험도 전사 적용을 예측할 수 있나요?
가능합니다. iOS 실험도 Android를 포함한 전체 사용자 관점에서 계산합니다.
다만 OS별 또는 코호트별 행동 차이가 크면 예측 정확도가 달라질 수 있습니다.
***
#### 전사 영향도 지표로 선택할 수 없는 지표가 있나요?
이벤트 지표의 분모가 전체 노출 횟수인 경우는 지원하지 않습니다.
시간 지표, 퍼널 지표, 리텐션 지표도 지원하지 않습니다.
***
#### 전사 영향도 지표 결과가 계산되지 않아요.
전사 영향도 지표는 다른 지표와 다르게 하루에 한 번 계산됩니다.
***
#### A/B 테스트 Raw Data가 필요합니다.
{% hint style="warning" %}
데이터 추출은 **엔터프라이즈 플랜 이상의 유료 요금제**에서 사용할 수 있습니다.
{% endhint %}
대시보드에서 테스트 그룹 분배 데이터와 이벤트 데이터를 추출할 수 있습니다.
{% stepper %}
{% step %}
**테스트를 선택하세요**
Raw Data가 필요한 A/B 테스트 상세 화면으로 이동합니다.
{% endstep %}
{% step %}
**데이터를 요청하세요**
제목 오른쪽의 **`...`** → **데이터 추출하기**를 선택합니다.
{% endstep %}
{% step %}
**CSV 파일을 다운로드하세요**
등록된 이메일로 받은 링크에서 CSV 파일을 다운로드합니다.
{% endstep %}
{% endstepper %}
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://docs.hackle.io/ab-test/a-b-faq.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.