Hackle vs VWO

목적

핵클에서 경험하실 수 있는 VWO (Visual Web Optimizer) Web 와의 차별점에 대해 소개합니다. 이 문서를 통해 다음 두 가지 사항을 이해하실 수 있습니다.

1. 핵클이 VWO 대비 추가로 제공하는 기능

2. 해당 기능을 통해 핵클 사용자가 얻을 수 있는 이점

주요 차이점

성능 및 데이터

구분	핵클	VWO
서비스 속도 영향	SDK 기반으로 서비스 속도에 영향 없음	비주얼 에디터 기반 테스트 증가 시 로딩 지연 가능
설정 반영 속도	실시간에 가깝게 변경 사항 반영	수 시간 소요 가능
결과 업데이트	1시간당 최소 1회 이상	최대 24시간 지연
SPA 지원	정상 지원	정상 동작하지 않는 경우 있음
데이터 정확성	샘플링 없이 전체 데이터 기반	별도 언급 없음

기능 및 유연성

구분	핵클	VWO
지표 설정	분모/분자 자유 설정, AOV/ARPU/ARPPU 등	제한적
세그먼트 분석	플랫폼, 브라우저, 앱 버전, 커스텀 속성 기반	제한적
타겟팅	다중 조건 조합의 커스텀 타겟팅	기본 타겟팅 조건
SDK 지원	클라이언트 + 서버 SDK (모바일/웹/서버)	웹 브라우저 기반만
사용자 식별	디바이스 ID 등 원하는 기준으로 식별	세션 기반

운영 및 지원

구분	핵클	VWO
기술 지원	Slack 상시 Hotline	별도 언급 없음
실험/결과 제한	동시 실험 수, 결과 수 무제한	제한 있음
환경 분리	개발환경/운영환경 모두 제공	환경 분리 없음

상세 설명

1. 핵클 A/B 테스트는 사용자의 서비스 이용 속도를 지연시키지 않습니다.

핵클 A/B 테스트를 도입하면 고객 플랫폼 서비스의 속도가 느려지지 않습니다. 반면, 비주얼 에디터(Visual Editor) 혹은 위지윅 에디터(WYSIWYG editor)를 기반으로 수행한 A/B 테스트가 많아질수록 사용자에게 보여질 화면을 띄우기 위한 로딩시간이 점점 느려질 수 있습니다. 이는 사용자가 어떤 화면을 봐야할지를 에디터에서 판단하게 되어 발생하는 현상입니다.

2. 핵클 A/B 테스트는 실시간에 가깝게 실험 설정의 변경 사항을 반영합니다.

핵클 SDK 연동후에는 대시보드에서 변경된 설정 정보를 주기적으로 수신하여 코드에 반영합니다.

A/B 테스트를 시작하는데 수 시간이 소요될 수 있는 VWO와 비교하여 핵클 SDK는 구성 정보 변경 사항을 업데이트하는 주기가 짧아, 실시간에 가깝게 A/B 테스트의 진행 상황을 제어할 수 있습니다.

3. 핵클 A/B 테스트는 실험 결과 데이터를 자주 업데이트 합니다. (1시간 당 최소 1회 이상)

VWO에서 전날까지 취합된 데이터를 기반으로 실험 결과를 제공하기 때문에 경우에 따라 24시간까지 시차가 나타납니다. 이 경우 사용자는 현재 상황에 대한 즉각적인 판단과 대응을 하기 어렵습니다.

핵클에서는 실험 결과를 1시간에 최소 1회 이상 업데이트하기 때문에 시차가 1시간 이내로 관리됩니다.

4. 핵클 A/B 테스트는 SPA(Single Page Application)를 지원합니다.

VWO는 SPA(Single Page Application) 방식으로 구현된 서비스, 즉 기존의 웹 브라우저에서 새 웹 페이지를 로드하는 대신 현재 웹 페이지에서 변경이 필요한 부분만 갱신하는 방식으로 동작하는 서비스에서는 정상적으로 A/B 테스트 구현이 되지 않거나 사용자 데이터 수집이 되지 않는 경우가 있습니다. 반면, 핵클은 SPA 방식으로 구현된 서비스 상에서도 A/B 테스트를 수행하는데 문제가 없습니다.

5. 핵클 A/B 테스트는 원하는 지표를 자유롭게 설정할 수 있습니다.

핵클에서는 지표의 분모/분자를 원하는 이벤트로 선택할 수 있으며, 다양한 계산유형 제공을 통해 전환율 뿐만 아니라 평균 주문금액(AOV), 사용자당 평균 구매금액(ARPU), 구매자당 평균 구매금액(ARPPU) 등의 지표를 측정할 수 있습니다.

또한, 특정 유저 세그먼트를 대상으로 지표를 측정할 수 있는 필터 설정 기능도 제공하고 있습니다.

6. 핵클 A/B 테스트에서는 지표를 세그먼트 단위로 분석할 수 있습니다.

실험에서 측정하고자 하는 지표의 결과를 플랫폼(iOS, Android, Web 등), 브라우저, 앱 버전 혹은 고객사에서 내부적으로 관리하는 속성정보(ex. 멤버십 회원여부, 첫구매여부, 성별, 연령대 등) 를 기준으로 세그먼트 분석을 할 수 있습니다.

이를 통해, A/B 테스트의 지표가 특정 세그먼트에만 영향을 주고 있는지 확인할 수 있습니다.

7. 핵클 A/B 테스트는 더욱 고도화된 타겟팅 기능을 제공합니다.

핵클은 VWO에서 제공하는 사용자 타겟팅 조건보다 더욱 다양하고 원하는 타겟팅 조건을 Custom 하게 설정할 수 있도록 지원하며, 타겟팅 시 여러 조건을 설정할 수 있도록하여 원하는 유저를 대상으로 A/B 테스트를 진행할 수 있도록 지원하고 있습니다.

8. 핵클은 클라이언트 SDK 와 서버 SDK 를 모두 제공합니다.

VWO Web은 웹 브라우저 기반 A/B 테스트만 지원합니다. 반면, 핵클은 클라이언트 및 서버 SDK를 제공하여 모바일, 데스크탑, 서버 환경과 플랫폼을 만들기 위해 사용된 모든 프로그래밍 언어에서의 A/B 테스트 및 테스트 그룹 생성, 구현을 지원합니다.

9. 핵클 A/B 테스트는 세션뿐만 아니라 디바이스 ID 등의 원하는 기준으로 사용자를 식별할 수 있습니다.

핵클의 사용자 식별자 (사용자 식별자 관리하기)문서에 게시된 것 처럼 A/B 테스트에 있어서 사용자 식별자를 정확하게 정의하는 것이 매우 중요합니다. 핵클에서는 고객이 직접 원하는 측정기준을 사용해서 사용자 식별자를 정의할 수 있으므로 세션 기반 사용자 식별자에서 나타나는 한계점을 극복할 수 있습니다.

10. 핵클 A/B 테스트는 샘플링 없이 전체 데이터를 기반으로 결과값을 제공합니다.

핵클 A/B 테스트는 결과를 계산할 때 전체 데이터를 사용하기 때문에 정확한 계산 결과를 제공합니다.

11. 핵클은 상시 Hotline을 통해 고객을 기술적으로 지원합니다.

핵클에서는 A/B 테스트 코드 구현을 포함한 SDK 연동 과정이나 실험을 진행하면서 궁금하셨던 점들을 편하게 질문하실 수 있도록 Slack 메신저에서 고객사별 private channel을 지원해 드리고 있습니다.

12. 핵클 A/B 테스트는 하나의 실험에 대해 개발환경과 운영환경을 모두 제공하기 때문에 실험 진행이 용이합니다.

VWO는 운영환경과 개발환경의 분리가 되어있지 않아, 개발자가 환경을 오해할 가능성이 있습니다. A/B 테스트를 코드로 구현하고자 할 때 미리 개발환경에서 테스트를 진행해야 하는데, 환경을 오해하여 실제로 사용자에게 노출되는 운영환경의 설정을 수정하는 문제가 발생할 가능성이 높습니다.

핵클에서는 하나의 실험을 진행할 때 운영환경과 개발환경을 모두 제공하여, 이와 같은 문제의 발생 가능성이 없습니다.