# 리텐션

{% hint style="warning" %}
데이터 분석 탭은 운영 환경에서만 진입 가능합니다.
{% endhint %}

### 리텐션에 대하여

핵클의 A/B 테스트 리텐션 기능은 A/B 테스트가 진행되는 동안, 테스트에 노출된 사용자 그룹별로 제품에 다시 들어오는지를 리텐션 차트로 확인 할 수 있습니다. 이와 더불어 대조군(그룹 A) 대비 실험군(그룹 B)의 개선율, p-value까지 확인 할 수 있어, 테스트 결과를 의사결정에 활용할 수 있습니다.

### 리텐션 분석 차트 확인

A/B 테스트 시작 혹은 새로운 리텐션 생성 후 최대 1시간 안에 결과 데이터를 확인할 수 있고, 이후 하루 단위로 데이터가 업데이트 됩니다. 데이터 수집은 A/B 테스트 시작 후 최대 30일까지 수집되며, A/B 테스트 종료 시 중단됩니다.

![1500](/files/3SlkoUEcLFtvwsOUdFDI)

1. 기간 단위 : 설정한 리텐션 데이터를 일별/주별로 확인 할 수 있습니다.

* **Day0** : 시작 이벤트를 발생시킨 날(Day0)에 목표 이벤트를 발생시킨 사용자의 수와 비율.
* **Week0** : 시작 이벤트를 발생시킨 주(Week0)에 목표 이벤트를 발생시킨 사용자의 수와 비율.

2. 중복 사용자 제외하기 : 해당 설정을 통해 동일한 사용자가 시작 이벤트를 여러 기간(일 혹은 주)에 발생시켰을 때 계산할 방식을 선택할 수 있습니다.

* 제외할 경우 : 첫 번째 시작 이벤트가 발생한 기간(일 혹은 주)에만 집계됩니다.
* 제외하지 않을 경우 : 시작 이벤트가 발생한 모든 기간(일 혹은 주)마다 모두 집계됩니다.

![1500](/files/kPR3pjrlJ8ciRmaZoMFF)

1. **사용자 수** : 해당 테스트 그룹의 설정한 시작 이벤트를 발생시킨 고유 사용자 수를 의미합니다.
2. **리텐션** : 설정한 기간단위 기준으로 그룹별 리텐션과 사용자 수를 확인 할 수 있습니다. 그룹별 리텐션은 시작 이벤트를 발생시킨 사용자 중 목표 이벤트를 발생시킨 사용자의 비중을 의미합니다.
3. **사용자 수** : 해당 테스트 그룹의 사용자가 각 기간에 목표 이벤트를 발생시킨 사용자 수를 의미합니다.
4. **그룹 A 대비 개선율** : 대조군(그룹 A)의 리텐션은 대비 실험군(그룹 B) 리텐션의 상대적인 차이를 계산한 값입니다. 괄호안에는 절대값이 표시됩니다. Day1의 경우 실험군(그룹 B)가 대조군(그룹 A)보다 17명이 더 잔존하여, 리텐션이 98.4% 증가한 것으로 해석할 수 있습니다. 리텐션의 증가 혹은 감소 여부에 따라 숫자 앞에 +나 -가 표시되고, 증감이 통계적으로 유의미한 경우 각각 초록색, 빨간색으로 표시됩니다.
5. **p-value** : A/B 테스트 결과의 신뢰도를 표현하는 값으로, p-value 값이 낮을수록 신뢰도가 높다고 판단할 수 있습니다. p-value가 0.05 미만인 경우 그룹 A대비 개선율이 통계적으로 유의미한 것으로 해석하고, p-value가 0.05 이상인 경우 그룹 A 대비 개선율이 통계적으로 무의미한 것으로 해석합니다.

![1550](/files/G93SZmlL8H0SJevWgyib)

시각화된 그래프로 데이터의 추이를 파악할 수 있습니다. 그래프에 마우스를 갖다대어 해당 날짜의 그룹별 리텐션과 그룹 A 대비 개선율, p-value를 확인 할 수 있습니다.


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.hackle.io/ab-test/data-analysis/ab_test_retention.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.