A/B 테스트 기획 문서 작성하기

A/B 테스트 설계할 때 이 One-Pager 템플릿을 고려해서 작성해보시면, 더 꼼꼼하게 A/B 테스트를 기획, 준비하고 lesson learn 을 얻을 수 있어요.

(*) 는 필수 항목이니 최대한 예시처럼 실험을 준비해보세요.

실험 준비

순서	구분	설명/예
1	발견한 문제 *	상품 목록 뷰 수는 많은데, 상품 클릭 비율이 낮다.
2	문제해결을 위한 분석 및 정의 *	정성적, 정량적 데이터 추가
3	해결을 위한 가설 정의 *	상품 목록에서 할인율을 표기하면 클릭률이 높을 것이다.
4	실험 진행 기간	약 2주
5	사용자 분배 시점 *	상품 목록을 보는 시점에서 분배

실험 진행

순서	구분	설명/예
1	변경 적용한 내용 *	Group A : 기존 (변경 없음) Group B : 변경 (변경 내용 적용)
2	실험 적용한 타켓 설명 *	모든 유저
3	성공 지표 *	어떤 지표가 상승/감소하면 이 실험이 성공일 지 상품 클릭 비율 (click_product / view_product_list)
4	보조 지표	함께 보면 좋을 지표가 있다면 추가로 확인해요. 장바구니 담기 비율 (click_add_cart / view_product_detail) 구매전환율 (complete_purchase / view_product_detail)
5	가드레일 지표	실험을 진행할 때 반드시 이 지켜야 할 지표를 고려해보세요. 주문 취소율, 리텐션 등
6	실험 확인할 수 있는 URL

실험 이후

순서	구분	설명/예
1	실험 이후 결과*	Winner group(이긴 안) : Group B
2	그룹 A 가 이겼다면 무엇을 배울 수 있을까요?
3	그룹 B 가 이겼다면 무엇을 배울 수 있을까요?	할인율을 보고 클릭률이 높아졌다면, 가격민감도가 높다고 볼 수 있다.
4	배움을 바탕으로 후속 테스트할 만 한 다음 주제를 생각해보세요.	사용자가 가격 민감도가 높다면 할인 순으로 정렬을 해볼까?