A/B 테스트

1. A/B 테스트란?

A/B 테스트는 두 가지 또는 여러 가지 다른 전략, 디자인, 또는 변경 사항을 비교하는 실험 방법입니다. 이를 통해 어떤 전략이 유저나 비즈니스에 더 큰 영향을 미치는지 판단하는 데 사용됩니다. A/B 테스트는 더 나은 유저 피드백, 높은 전환율, 우수한 데이터 성능을 얻을 수 있는 실험군 그룹을 식별하는 데 도움이 됩니다.

A/B 테스트에서는 테스트 대상이 무작위로 두 개(또는 여러 개)의 그룹으로 나뉩니다. 하나는 대조군 그룹이고, 다른 하나는 실험군 그룹입니다. 대조군 그룹은 현재의 전략이나 디자인을 사용하고, 실험군 그룹은 변경된 전략이나 디자인을 사용합니다. 두 그룹의 유저는 같은 시간대에 다른 컨텐츠의 푸시를 받습니다.

두 그룹 간에 유저의 피드백, 행동, 또는 비즈니스 지표를 비교함으로써 어떤 컨텐츠가 우수한지 판단할 수 있습니다. 이 테스트 방법은 다양한 변수를 검증하기 위해 사용될 수 있습니다(예: 다른 푸시 컨텐츠, 게임 패키지 가격, 유저 접근 방법, 기능 변경 등).

A/B 테스트의 목표는 실제 데이터와 유저 피드백에 기반한 의사결정을 통해 지속적인 테스트와 최적화를 통해 유저 경험을 개선하고, 전환율을 높이며, 비즈니스 수익을 증가시키는 것입니다.

2. 기능 개요

TE의 운영 모듈은 A/B 테스트 기능을 지원하며, 같은 운영 작업 내에서 여러 컨텐츠 배포 전략을 설정하고 효과 비교 테스트를 할 수 있습니다. 이를 통해 운영 담당자는 최적의 전략을 과학적으로 결정하고, 목표 전환 효과를 향상시킬 수 있습니다.

3. 사용 설명

3.1 A/B 테스트 활성화

운영 작업에서 '+작업 생성'을 클릭하고, 운영 작업 생성 화면으로 들어갑니다. '푸시 구성'에서 'A/B 테스트 활성화' 버튼을 클릭하면, 해당 운영 작업은 트래픽 배분 설정이 활성화됩니다.

3.2 테스트 구성

• 샘플링 비율

A/B 테스트를 시작한 후, 테스트의 샘플링 비율을 수동으로 설정할 수 있습니다. 이는 대조군 유저 중 일정 비율의 유저를 무작위로 선택하여 A/B 테스트를 실시하고, 다른 유저에게는 영향을 미치지 않는 방식입니다.

샘플링 비율은 [0, 100]의 정수 값을 선택할 수 있습니다. 슬라이더를 드래그하거나 숫자를 입력하여 설정할 수 있습니다.

• 우승 지표 설정

이 A/B 테스트의 우승 기준을 설정할 수도 있습니다. 선택지는 '주요 목표와 일치'와 '클릭률'이 있습니다. '클릭률'을 선택할 경우, 먼저 채널 관리의 채널 퍼널 설정에서 '푸시 알림 클릭' 이벤트를 설정해야 합니다.

• 실험군 그룹 설정

위의 설정이 완료된 후, 푸시 컨텐츠에서 대조군 그룹과 실험군 그룹의 내용 구성을 완성해야 합니다. 대조군 그룹은 현재의 전략이나 디자인을 사용하고, 반면에 실험군 그룹은 실험하고 싶은 전략이나 디자인을 사용합니다. 두 그룹의 유저는 같은 시간대에 다른 경험을 받습니다.

• 대조군 그룹

각 A/B 테스트에는 기본적으로 하나의 대조군 그룹이 있습니다. 대조군 그룹에서는 유저에게 푸시를 선택할 수 있습니다. 유저에게 푸시를 활성화할 때, 대조군 그룹은 실험군 그룹과 동일하며, 동시기의 유저가 다른 컨텐츠에 대해 어떤 피드백을 하는지 관찰할 수 있습니다. 유저에게 푸시를 하지 않을 경우, 운영 전략이 유저에게 효과적인지 평가하기 위해 사용되며, 푸시된 실험군 그룹과 대조군 그룹 간의 목표 전환율 향상 차이를 관찰할 수 있습니다.

• 실험군 그룹

최대 4개의 실험군 그룹을 설정할 수 있습니다. 실험군 그룹 설정은 오른쪽의 기어 아이콘을 클릭하여 수행할 수 있습니다. 실험군 그룹 추가, 삭제, 또는 사용자 정의 이름 설정도 지원됩니다. 동시에, 슬라이더를 사용하여 실험군 그룹에 대한 트래픽 배분도 할 수 있습니다. 시스템은 목표 대상 인구, 샘플링 비율 및 트래픽 배분 비율에 기반하여 각 실험군 그룹에 도달할 인원 수를 예측합니다.

4. 테스트 상태

설명: [운영 작업의 상태]는 [A/B 테스트의 상태]의 상위 레벨 상태입니다. 운영 작업의 상태는 테스트의 상태에 영향을 미칩니다. 예를 들어, 운영 작업이 일시 중지되면 테스트도 일시 중지됩니다. 또한, 운영 작업이 종료되면 테스트도 종료됩니다.

• 운영 작업의 상태는 '초안', '승인 대기', '실행 중', '일시 정지 중', '종료', '거부됨'입니다.
• 테스트 상태: A/B 테스트의 현재 상태를 설명합니다. 모든 상태는 다음과 같습니다.
  • 테스트 미시작: 운영 작업이 종료되지 않은 상태에서 아직 푸시되지 않은 테스트
  • 테스트 취소: 운영 작업이 '종료' 상태가 되기 전에 이미 종료된 테스트
  • 테스트 중: 운영 작업이 '실행 중'이며 목표 전환 창 기간 내의 실험
  • 테스트 일시 중지: 운영 작업이 '일시 중지 중'인 경우, 테스트도 '일시 중지' 상태가 됩니다
  • 데이터 수집 중: 운영 작업이 '종료' 상태이지만 아직 목표 전환 창 기간이 아니며 데이터가 동적으로 집계되고 있는 테스트
  • 리포트 완료: 운영 작업이 '종료' 상태이며 목표 전환 창 기간을 충족한 테스트로, 테스트 리포트가 완료되어 정식으로 종료된 테스트

5. 테스트 리포트

A/B 테스트 리포트에서는 유저가 시각화된 방식으로 대조군 그룹과 각 실험군 그룹의 결과 데이터를 비교할 수 있습니다. 정확한 통계 데이터 값으로 우수한 테스트 그룹을 판단할 뿐만 아니라, 테스트 전체의 데이터 변화 추세를 동적으로 관찰할 수도 있습니다.

5.1 리포트

A/B 테스트를 시작한 운영 작업은, 운영 작업의 상세 페이지의 【테스트 리포트】탭에서 A/B 테스트의 결과 데이터를 확인할 수 있습니다.

5.2 리포트 소개

5.2.1 기본 정보

테스트 리포트의 기본 정보에는 테스트 기간, 상태, 우승 지표, 푸시 성공 인원 수, 그룹 수가 포함됩니다.

• 테스트 기간: 테스트 시작부터 리포트 완성까지의 시간입니다.
  • 기본 시작 시간: 테스트 시작 시각입니다.
  • 기본 종료 시간: 오늘로 설정되며, 최대는 리포트 완성 시각입니다.
  • 타임 필터는 테스트 리포트 전체에 대해 제어를 수행하며, 실험군 그룹의 데이터, 우승 판정 및 선형 그래프의 변화율에 연동적인 영향을 미칩니다.
  • 테스트 기간은 최대 90일을 초과할 수 없습니다.
• 상태: A/B 테스트의 현재 상태로, 구체적인 상황은 '테스트 상태'를 참조하십시오.
• 우승 지표: 이 테스트에서 우승한 그룹을 판단하기 위한 중요한 지표입니다.
• 푸시 성공 인원 수: A/B 테스트 전체에서 커버된 푸시 알림이 성공한 인원 수입니다.
• 그룹 수: 대조군 그룹과 실험군 그룹을 합쳐, 이 A/B 테스트에 참여한 그룹의 총 수입니다.

5.2.2 테스트 결과

• 푸시 성공 인원 수: 각 그룹별로 성공한 푸시 알림의 인원 수
• 달성 인원 수: 각 실험군 그룹에서 '우승 지표'를 달성한 사람 수
• 지표 달성률: 달성 인원 수 / 푸시 성공 인원 수
• 지표 상승률: 이 상승률은 실험군 그룹과 대조군 그룹의 지표를 비교하여 상승 또는 하락하는 변화율입니다
• 테스트에서 우승을 판정하는 규칙

[상승률]의 높낮이에 따라 실험군 그룹의 우승을 판정합니다. 상승률은 실험군 그룹의 지표와 대조군 그룹의 지표를 비교하여 상승 또는 하락하는 변화율을 말합니다. 가장 높은 상승률을 가진 실험군 그룹이 우승합니다. 대조군 그룹과 비교하여 지표 달성률이 뚜렷하게 개선되지 않는 경우, 그 테스트에는 우승 그룹이 없습니다.

• 상승률의 신뢰 구간：지표 상승률의 진짜 값이 포함될 가능성이 있는 범위를 나타내며, 양측 검정에서 유의 수준 5%를 적용합니다.

구체적인 계산 로직：

• 실험군 그룹 지표: M(실험군), 실험군 그룹 샘플 수: U(실험군)
• 대조군 그룹 지표: M(대조군), 대조군 그룹 샘플 수: U(대조군)
• 각 테스트 그룹과 컨트롤 그룹의 샘플의 표준편차를 구합니다. 비율 지표이므로 다음과 같이 계산합니다.

• • 상승값과 lift를 계산합니다.

    • • 위의 계산 결과를 바탕으로, 다음과 같은 것이 얻어집니다.

        • • 여기서 1.96은 변수로서, 다른 신뢰도로 변환될 수 있습니다. 기본값은 95% 신뢰도입니다.

            • 결론
              • 실험군 그룹의 퍼센트 개선의 신뢰 구간 하한이 음수이고 상한이 양수인 경우: 변화가 불분명함.
              • 실험군 그룹의 퍼센트 개선의 신뢰 구간 하한과 상한이 양수인 경우: 상승이 명확함.
              • 실험군 그룹의 퍼센트 개선의 신뢰 구간 하한이 음수이고 상한도 음수인 경우: 하락이 명확함.
            • 조작 방법
            1. 실험군 그룹의 구체적인 푸시 컨텐츠를 확인할 수 있습니다.
            2. 테스트 리포트가 우승 그룹을 도출한 경우, 실험군 그룹 뒤에 있는 복제 버튼을 사용하여 모든 유저에게 푸시할 새로운 운영 작업을 직접 생성할 수 있습니다.

            5.2.3 테스트 데이터 변화 추이

            데이터 상세에서는 배치 관점에서 각 실험군 그룹의 푸시 세부 사항과 목표 달성 상황이 표시됩니다.

            지표 달성률의 변화 추이를 '일별'로 표시하는 지원도 제공됩니다.