A/B 테스트 기획 문서 작성하기

A/B 테스트 설계할 때 이 One-Pager 템플릿을 고려해서 작성해보세요

더 꼼꼼하게 A/B 테스트를 기획, 준비하고 lesson learn 을 얻을 수 있어요.

1

실험 준비

실험을 시작하기 전, 문제와 가설을 한 흐름으로 정리합니다.

• 문제: 사용자에게 발생하는 문제를 한 문장으로 작성합니다.

• 근거 데이터: 문제를 뒷받침하는 정성적·정량적 데이터를 정리합니다.

• 가설: 무엇을 바꾸면 어떤 결과가 생길지 작성합니다.

• 진행 기간: 실험을 진행할 기간을 작성합니다.

• 사용자 분배 시점: 사용자를 실험군에 분배할 시점을 작성합니다.

작성 예시

• 문제: 상품 목록 뷰 수는 많지만, 상품 클릭 비율이 낮다.

• 가설: 상품 목록에 할인율을 표시하면 클릭률이 높아질 것이다.

• 진행 기간: 약 2주

• 사용자 분배 시점: 사용자가 상품 목록을 보는 시점

2

실험 진행

실험군과 측정 기준을 정의합니다.

• 변경 내용: Group A와 Group B에 적용할 경험을 작성합니다.

• 실험 대상: 실험에 포함할 사용자를 정의합니다.

• 성공 지표: 실험의 성공 여부를 판단할 핵심 지표를 정합니다.

• 보조 지표 (선택): 핵심 지표와 함께 확인할 지표를 추가합니다.

• 가드레일 지표 (선택): 실험 중 반드시 유지해야 할 지표를 정합니다.

• 실험 URL (선택): 실험을 확인할 수 있는 URL을 추가합니다.

작성 예시

• 변경 내용: Group A는 기존 경험을 유지하고, Group B에는 변경 내용을 적용한다.

• 실험 대상: 모든 사용자

• 성공 지표: 상품 클릭 비율 — click_product / view_product_list

• 보조 지표: 장바구니 담기 비율, 구매전환율

• 가드레일 지표: 주문 취소율, 리텐션

3

실험 이후

결과를 해석하고 후속 가설로 연결합니다.

• 결과 요약: 승리 그룹과 핵심 지표의 변화를 기록합니다.

• 결과 해석 (선택): 결과가 가설을 지지하는지 정리합니다.

• 다음 가설 (선택): 배움을 바탕으로 후속 가설을 작성합니다.

작성 예시

• 결과 요약: Winner group: Group B

• 결과 해석: 할인율을 본 사용자의 클릭률이 높아졌다면, 가격 민감도가 높다고 볼 수 있다.

• 다음 가설: 가격 민감도가 높다면 할인율 순 정렬을 제공해 볼까?