A/B 테스트 설정

A/B 테스트 설정은 모든 환경에서 진입 가능합니다.

다만 A/B 테스트 그룹에 관련된 설정은 운영 환경에서만 가능합니다. 테스트 기기 등록은 모든 환경에서 가능합니다.

개요

운영 환경에서 A/B 테스트 상세에 들어갈 경우 첫 번째에 있는 탭입니다. 여기서는 A/B 테스트에 설정한 테스트 그룹에 대한 관리를 할 수 있으며, 테스트 기기 또한 관리할 수 있습니다.

A/B 테스트 설정 예시 화면

A/B 테스트 가설

A/B 테스트를 통해 검증하려는 가설을 입력하거나 수정합니다.

A/B 테스트 그룹

그룹 편집

그룹 편집은 A/B 테스트 시작 이전에만 가능합니다.

그룹은 10개(그룹 J)까지 생성할 수 있습니다.

우측 수정하기 버튼을 누르면 그룹 편집을 위한 다이얼로그가 나타납니다. 여기에서 A/B 테스트의 실험군인 그룹을 추가/삭제할 수 있습니다. 또한 그룹의 설명을 바꿀 수 있습니다.

1. 추가: 다이얼로그 하단 새 그룹 추가하기 버튼을 눌러 새로운 그룹을 추가할 수 있습니다.

2. 삭제: 삭제를 원하는 그룹 우측의 휴지통 아이콘을 클릭합니다. 단, 삭제의 경우 그룹이 3개 이상인 경우에만 휴지통 아이콘이 나타납니다.

3. 변경사항 반영: 그룹 추가/삭제를 완료한 이후 다이얼로그 우측 하단의 저장하기 버튼을 클릭하면 변경사항이 반영됩니다.

진행중인 A/B 테스트에서 특정 그룹 제외하기

A/B 테스트가 진행 중이고 해당 테스트에 속한 그룹이 3개 이상이라면, 우측 수정하기 버튼을 눌러 나타난 다이얼로그에서 특정 그룹을 제외할 수 있습니다. 제외된 그룹에 포함되는 사용자는 이후 그룹 A의 설정(기능, 화면, 로직 등)을 보게 됩니다.

제외 기능은 특정 그룹에 대한 테스트가 불필요하다고 판단될 경우 사용합니다. 예를 들어 특정 그룹의 결과가 다른 그룹 대비 확연하게 열세한 수치를 보이는 경우, 테스트에서 제외하기 기능을 통해 더 이상 사용자들이 해당 그룹에 노출되지 않도록 할 수 있습니다.

테스트 기기 등록

테스트 그룹 별로 사용자 식별자를 등록하여 해당 사용자를 특정 테스트 그룹에 노출되도록 설정할 수 있습니다. 해당 사용자는 테스트 그룹 분배 시 수동할당된 사용자로 분류됩니다.

활용 사례

운영 환경에서 A/B 테스트를 진행하는 도중, 특정 사용자를 특정 테스트 그룹에 강제 할당하는 목적으로 사용할 수 있습니다. 가장 유용하게 사용하는 방법은 운영 환경에서 A/B 테스트를 시작하기 전에 QA(Quality Assurance) 목적으로 활용하는 것입니다.

대표적인 활용 사례는 다음과 같습니다.

1. A/B 테스트의 대상이 되는 UI, 기능, 로직 등이 각 테스트 그룹 별로 정상적으로 적용되었는지 확인

2. A/B 테스트와 관계없는 서비스 내의 다른 기능을 이용하는데 문제가 없는지를 검증

특정 사용자 대상으로만 테스트를 검증할 경우 실험을 시작하지말고 테스트 기기를 등록하세요

운영 환경에서 트래픽 할당을 0% 보다 큰 값으로 설정한 경우, 개발 환경이라 하더라도 등록하지 않은 사용자가 테스트 그룹 A가 아닌 다른 그룹에 할당될 수 있습니다.

이는 운영 환경의 트래픽 할당 값이 개발 환경에도 적용되기 때문이며, 트래픽 할당 값이 존재하는 경우 핵클의 테스트 그룹 분배 로직에 따라 등록하지 않은 사용자에게도 실험군이 노출될 수 있습니다.

따라서 등록한 사용자 외의 사용자가 실험군에 노출되지 않게 하려면 실험을 시작하지않고 테스트 기기로 강제 분배를 해야합니다.

설정 방법

테스트 기기 등록 정보는 환경에 독립적으로, 개발 환경과 운영 환경의 설정이 서로 호환되지 않습니다. 즉, 동일한 A/B 테스트에 대해서도 환경 별로 설정해야 합니다. 환경 정보는 대시보드 상단 영역에서 확인할 수 있습니다.

1. 사용자 식별자 값 입력하기

테스트 기기 등록하기 버튼을 누르면 설정을 위한 다이얼로그가 나타납니다. 각 그룹별로 원하는 사용자를 직접 등록할 수 있습니다.

1. 직접 입력 : '사용자 식별자 값'을 이용해 사용자를 등록할 수 있습니다. 사용자 식별자가 무엇인지 궁금하시다면 사용자 식별자와 속성를 확인해보세요.

2. 사용자 그룹 : 왼측 메뉴 영역의 [사용자 그룹 관리] 에서 등록한 사용자 그룹을 선택하여 적용할 수 있습니다.

생성한 사용자 그룹(테스트 기기)가 보이지 않나요?

A/B 테스트와 테스트 기기의 사용자 식별자 기준을 확인해주세요.

A/B 테스트의 식별자 기준과 테스트 기기의 식별자 기준이 동일해야 A/B 테스트의 사용자 그룹으로 등록할 수 있습니다.

사용자 삭제 방법

• 이미 등록한 사용자를 삭제하려면, 사용자 식별자 값 우측에 있는 x 버튼을 클릭해주세요.

• 등록한 모든 사용자를 삭제하려면, 해당 테스트 그룹의 입력란 우측에 위치한 x 버튼을 클릭해주세요.

2. 저장하기

다이얼로그 우측 하단에 위치한 저장하기 버튼을 클릭하면 변경사항이 저장됩니다.

3. 확인하기

핵클 플랫폼과 연동을 완료한 후, 각 그룹에 저장한 사용자의 식별자로 A/B 테스트의 대상을 실행하여 각 테스트 그룹 별로 의도한 내용이 나오는지 확인합니다.

의도대로 결과가 나오지 않나요?

1. JavaScript SDK의 경우 사용자 latency를 위해서 설정 값을 cache하고 있습니다. 따라서 제대로 할당되지 않은 것처럼 보일 수 있습니다. 이 경우 크롬 브라우저의 강력 새로고침 기능을 이용하여 즉각적으로 볼 수 있습니다. 만약 이 방법도 통하지 않으면 개발자 도구를 열고 새로고침 버튼에서 오른쪽 클릭 후 캐시 비우기 및 강력 새로고침을 클릭하여 다시 시도하시기 바랍니다.

2. 모바일 앱에 적용한 경우 해당 앱을 완전 종료 후 다시 실행해야 결과를 확인할 수 있습니다.