# MAB 테스트 vs A/B 테스트 ### 개요 A/B 테스트는 일정기간동안 통제된 환경하에서 각 그룹별로 고정된 트래픽을 할당하고, 그룹 간 성과를 비교하여 의사결정을 수행하는 실험 방식입니다.\ 이와 비교하였을 때, MAB (Multi-Armed Bandit) 테스트는 그룹별 트래픽을 자동으로 조정하여 성공지표를 가장 극대화할 수 있는 방향으로 진행되는 실험 방식입니다. MAB 테스트는 일반적인 A/B 테스트 진행기간 (약 1\~2주 권장) 보다 상대적으로 짧은 기간의 성공지표 결과 값을 기준으로 그룹별 트래픽 분배를 조정하기 때문에, 표본이 충분치 않을 수 있다는 제약사항을 감안해야 합니다.\ 또한, 1가지의 성공지표를 기준으로 트래픽 분배가 결정되기 때문에 여러 지표를 감안한 의사결정과 차이가 발생할 수 있습니다. ![](/files/yVLu1dvwQ6PTfE3pTFpi) ### MAB와 A/B 테스트는 어떻게 다른가요? 1. A/B 테스트는 일정 기간 동안 여러 목표 지표와 이들의 통계 값인 p-value 또는 Bayesian 확률을 수집해 분석(해석)과정을 거쳐 의사 결정을 내리는데, MAB는 한가지 성공 지표 (전환율, CTR 등) 를 최대화하는 것에만 관심이 있어 이를 극대화 하기 위해 트래픽을 자동으로 조정하므로 분석(해석) 과정이 없습니다. MAB의 주요 목표는 "어떤 테스트 그룹이 가장 큰 보상( = 성공 지표 최적화)을 보여줍니까?"라고 답하는 것입니다. 2. MAB의 경우 통제 그룹이 필요 없습니다. 그렇기 때문에 p-value와 같은 통계 값 또는 A 그룹 보다 우수할 확률을 제공하지 않습니다. 3. MAB는 변경 사항이 영구적이지 않은, 짧고 일시적인 경험을 위한 전환을 극대화하는 데 적합합니다(ex. 프로모션 제안, 헤드라인 테스트, 웨비나 등록 페이지 등). 또는 검색 및 추천 로직 같은 알고리즘 테스트와 같이 지속적인 최적화가 필요한 경우 활용하는 것을 추천합니다. ### 활용 방법 MAB 테스트는 1가지의 명확한 성공지표를 설정할 수 있고, 단기간 내에 최적의 옵션을 확인하여 보다 많은 유저에게 이를 노출하고자 할 때 사용하는 것을 권장합니다. 주로, **서비스 내의 전시영역(예: 홈 화면 배너, 추천상품 캐로셀 등) 에서 진행되는 실험을 MAB 테스트로 진행**할 수 있습니다.\ 배너 클릭, 상품 클릭과 같이 목표로 하는 사용자 행동이 명확하고, 해당 변경사항을 출시하기 위해 성공지표와 다른 지표간의 trade-off(예: 성공지표는 10% 증가하였으나 지표 Y는 9% 하락) 를 고려하여 의사결정이 이루어져야하는 가능성이 일반적으로는 낮다고 보기 때문입니다. --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.hackle.io/ab-test/mab-test/mab-vs-ab-test.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.