MAB 테스트 vs A/B 테스트

구분
A/B 테스트
MAB 테스트
트래픽 배분
그룹별로 고정
성과에 따라 자동 조정
주요 목적
결과 비교와 의사결정
성공지표 극대화
적합한 상황
장기적이고 신중한 검증
빠른 최적화가 필요한 실험
기간
4주 이상
A/B 테스트 보다 짧은 기간 (약 1~2주)
A/B 테스트
A/B 테스트는 일정기간동안 통제된 환경하에서 각 그룹별로 고정된 트래픽을 할당하고, 그룹 간 성과를 비교하여 의사결정을 수행하는 실험 방식입니다.
그렇기에 각 그룹에 고정된 트래픽을 배분하고, 충분한 기간 동안 성과와 통계적 유의성을 비교합니다.
MAB 테스트
MAB의 주요 목표는 "어떤 테스트 그룹이 가장 큰 보상( = 성공 지표 최적화)을 보여줍니까?"라고 답하는 것입니다.
성과가 좋은 그룹에 더 많은 트래픽을 자동 배분하기에 하나의 성공지표를 빠르게 극대화하는 데 적합합니다.
마지막 업데이트