# A/Bテスト

# A/Bテストとは？

A/B テストは、2つまたは複数の異なる施策、デザイン、または変更を比較する実験方法であり、どの施策がユーザーやビジネスにより大きな影響を与えるかを判断するために使用されます。A/B テストは、より良いユーザーフィードバックや高いコンバージョン率、優れたデータパフォーマンスを得られるテストグループを特定するのに役立ちます。

A/Bテストでは、テスト対象はランダムに2つ（または複数）のグループに分けられます。1つはコントロールグループであり、もう1つはテストグループです。コントロールグループは現在の施策やデザインを使用し、テストグループは変更後の施策やデザインを使用します。両グループのユーザーは同じ時間帯に異なるコンテンツのプッシュを受けます。

2つのグループ間でユーザーのフィードバック、行動、またはビジネス指標を比較することにより、どのコンテンツが優れているかを判断することができます。このテスト方法は、異なるプッシュ内容やゲームパッケージ価格、ユーザーへのアプローチ方法や機能変更など、さまざまな変量を検証するために使用できます。

A/B テストのターゲットは、実際のデータとユーザーフィードバックに基づいて意思決定を行うことであり、継続的なテストと最適化により、ユーザー体験を改善し、コンバージョン率を向上させ、ビジネス収益を増加させることができます。

# 機能概要

TEのエンゲージモジュールはA/Bテスト機能をサポートしており、同じエンゲージタスク内で複数のコンテンツ配分施策を設定して効果比較テストを行うことができます。これにより、運営担当者は最適な施策を科学的に決定し、目標変換効果を向上させることができます。

# 利用説明

# 3.1 A/Bテストを有効

エンゲージタスクで＋タスクを作成をクリックして、エンゲージタスクの作成画面に入ります。

プッシュ構成で「A/Bテストを有効」ボタンをクリックすると、そのエンゲージタスクはトラフィック配分の設定が有効になります。

# 3.2 テストタイプ選択

A/Bテストのスプリットテストまたは勝者総取りテストを選択することができます。

# 3.2.1 スプリットテスト

ターゲットユーザーの条件に合致するのをサンプリングとグループ比率に基づいて複数のテストグループにランダムに割り当て、さまざまな案を同時に送信して効果を検証します。
スプリットテストは、グループ間でプッシュの効果を比較するシナリオに適用されますが、後続の全体ユーザーへのプッシュはサポートされていません。

# 3.2.2 勝者総取りテスト

現在、トリガー式エンゲージタスクは勝者総取りテストをサポートしています。

本番プッシュを送信する前に、テストグループでさまざまなテストを小規模にテストし、最適な案をテスト結果から得た後、対象ユーザー全員に送信します。
勝者総取りテストは、テスト後に全ユーザーへのプッシュする場面で使用できます。
勝者総取りテストでは、テスト開始前および中間段階で自動的にフルプッシュを設定することができます。これにより、テスト結果から勝利グループを得た後、勝利グループのコンテンツを全体的にプッシュすることが容易になります。

# 3.2 スプリットテスト構成

サンプリング比率

A/Bテストを開始した後、テストのサンプリング比率を手動で設定することができます。これは、コントロールユーザーから一定割合のユーザーをランダムに選び出し、A/Bテストを行い、他のユーザーには影響を与えないというものです。

サンプリング比率は（0、100] の整数値を選択することができます。スライダーをドラッグするか、数値を入力して設定することができます。

優勝指標設定

このA/Bテストの優勝基準を設定することもできます。選択肢は「メイン目標と一致」と「クリック率」があります。「クリック率」を選ぶ場合は、まずチャネル管理のチャネルのファネル設定で、「プッシュ通知をクリック」イベントを設定してください。

テストグループ設定

上記の設定が完了した後、プッシュコンテンツでコントロールグループとテストグループに内容の構成を完成させる必要があります。コントロールグループは現在の施策やデザインを使用し、一方でテストグループは実験したい施策やデザインを使用します。両グループのユーザーは同じ時間帯に異なる体験を受け取ります。

コントロールグループ

各A/Bテストには、デフォルトで1つのコントロールグループがあります。コントロールグループでは、ユーザーへのプッシュを選択することができます。

ユーザーにプッシュを有効にする際、コントロールグループはテストグループと同じであり、同時期のユーザーが異なるコンテンツに対してどのようなフィードバックをするかを観察することができます。

ユーザーへのプッシュを行わない場合、運営施策がユーザーに有効かどうか評価するために使用され、プッシュされたテストグループとコントロールグループとの目標変換率向上の差異を観測することができます。

テストグループ

最大で4つのテストグループを設定することができます。テストグループの設定は、右側の歯車をクリックして行うことができます。テストグループの追加や削除、またカスタム名前の設定もサポートされています。同時に、スライダーを使ってテストグループへのトラフィック配分も行えます。システムは目標対象人群、サンプリング率およびトラフィック配分比率に基づいて各テストグループへ到達する人数を予測します。

# 3.4 勝者総取りテスト設定

サンプリング比率

サンプリング比率は（0、100] の整数値を選択することができます。スライダーをドラッグするか、数値を入力して設定することができます。

テスト周期

勝者総取りテストは通常、エンゲージ業務サイクルの前半で行われます。

勝者総取りテストはエンゲージタスクサイクルと同時に開始され、終了時間はユーザーが設定する必要があります。勝者総取りテストの終了時間は、エンゲージタスクの終了時間よりも遅くなってはいけません。勝者総取りテストが終了し、勝利したテストグループが決まった後、勝ち取ったタスクを使用して全体のユーザーにプッシュを行うことができます。

テストグループ設定

コントロールグループ

テストグループ

フルプッシュグループの選択

ユーザーは自動的にフルプッシュコンテンツの選択をオンにするかどうかを選択し、フルプッシュのテストグループを選択できます。設定が完了したら、勝者総取りテストが終了すると最も優れた（勝利した）実験グループが現れる場合は、自動的に勝者のコンテンツでフルプッシュされます。勝者のグループが現れない場合は、ユーザーが選んだバックアップストラテジーグループでフルプッシュされます。

もちろん、ユーザーが「自動フルプッシュ」スイッチをオフにしている場合は、実験終了後に「実験レポート」ページで手動でプッシュ量を調整することができます。

# テストステータス

説明：【エンゲージタスクのステータス】は【A/Bテストのステータス】の親レベルのステータスです。エンゲージタスクのステータスはテストの状態に影響を与えます。例えば、エンゲージタスクが一時停止されると、テストも一時停止されます。また、エンゲージタスクが終了すると、テストも終了しますなど。

運営タスクのステータスは、「下書き」、「承認待ち」、「実行中）」、「一時停止中」、「終了」、「拒否済」です。
テストステータス：A/Bテストの現在のステータスを説明します。全てのステータスは以下の通りです。
- テスト未開始：エンゲージタスクが終了していない状態で、まだプッシュされていないテスト
- テスト取消：エンゲージタスクが「終了」の状態になる前に、すでに閉じられたテスト
- テスト中：エンゲージタスクが「実行中」であり、目標変換ウィンドウ期間内の実験
- テスト一時停止：エンゲージタスクが「一時停止中」の状態にある場合、同時にテストも「一時停止」状態となります
- データ回収中：エンゲージタスクは「終了」という状態ですが、まだ目標変換ウィンドウ期間ではなく、データは動的に集計されているテスト
- レポート完了：エンゲージタスクは「終了」という状態であり、目標変換ウィンドウ期間を満たしたテストであり、テストレポートが完了し、正式に終了したテスト
また、「勝者総取り」では、ユーザーが自動的にフルプッシュを有効にした場合、テストの期限が終了すると、フルプッシュで始めます。ユーザーが手動でフルプッシュを選択した場合、テストの期限が終了すると、テストは「手動でフルプッシュ状態」に入ります。

# テストレポート

A/Bテストレポートでは、ユーザーは視覚化された方法でコントロールグループと各テストグループの結果データを比較することができます。正確な統計データ値によって優れたテストグループを判断するだけでなく、テスト全体のデータ変化トレンドをダイナミックに観察することも可能です。

# 5.1 レポート

A/Bテストを開始したエンゲージタスクは、エンゲージタスクの詳細ページの【テストレポート】タブでA/Bテストの結果データを確認することができます。

# 5.2 レポート紹介

# 5.2.1 基本情報

テストレポートの基本情報には、テスト期間、ステータス、優勝指標、プッシュ成功人数、およびグループ数が含まれています。

テスト期間：テストの開始からレポートの完成までの時間です。
- デフォルトの開始時間：テストの開始時刻です。
- デフォルトの終了時間：今日であり、最大はレポート完成時刻となります。
- タイムフィルターは、テストレポート全体に対して制御を行い、テストグループのデータ、優勝判定および折れ線グラフの変化率に連動的な影響を与えます。
- テスト期間は最大でも90日を超えることはできません。
ステータス：A/Bテストの現在のステータスです，具体的な状況はご覧くださいテストステータス。
優勝指標：このテストで優勝したグループを判断するための重要な指標です。
プッシュ成功人数：A/Bテスト全体でカバーされたプッシュ通知が成功した人数です。
グループ数：コントロールグループとテストグループ合わせて、このA/Bテストにおけるグループの合計数です。

# 5.2.2 テスト結果

プッシュ成功人数：各グループの成功したプッシュ通知の人数
達成人数：各テストグループにおける「優勝指標」の達成者数
指標達成率：達成人数/プッシュ成功人数
指標向上率：この向上率は、テストグループとコントロールグループの指標を比較して上昇または下降する変化率です
テストで優勝を判定するルール

「向上率」の高低によってテストグループの優勝を判定します。向上率とは、テストグループの指標とコントロールグループの指標を比較して上昇または下降する変化率を指します。最も高い向上率を持つテストグループが優勝です。コントロールグループと比較して指標達成率が明らかに改善されない場合、そのテストには優勝するテストグループはありません。

向上率の信頼区間：指標の向上率の真の値が含まれる可能性がある範囲を示しており、両側検定で有意水準5％を採用しています。

具体な計算ロジック：

テストグループ指標：M(テスト)、テストグループサンプル数：U(テスト)
コントロールグループ指標：M(コントロール)、コントロールグループサンプル数：U(コントロール)

まず、それぞれのテストグループとコントロールグループのサンプルの標準偏差を求めます。比率指標であるため、以下のように計算します。

- 向上値とliftを計算します。
  - - 上記の計算結果に基づいて、次のものが得られます。
      - ここで1.96は変数であり、異なる信頼度に変換されます。デフォルトでは95%の信頼度です。
        
        結論
        テストグループのパーセンテージ改善の信頼区間下限が負であり、上限が正：変化不顕著
        
        テストグループのパーセンテージ改善の信頼区間下限と上限が正：上昇顕著
        
        テストグループのパーセンテージ改善の信頼区間下限が負であり、上限も負：下降顕著
        
        操作
        
        テストグループの具体的なプッシュコンテンツを確認することができます。
        
        テストレポートが優勝グループを出した場合、テストグループの後ろにある複製ボタンを使用して、全てのユーザーへのプッシュに使用する新しいエンゲージタスクを直接作成することができます。
        
        # 5.2.3 テストデータ変化傾向
        
        データの詳細では、バッチの視点から各テストグループのプッシュの詳細と目標達成状況が表示されます。
        
        指標達成率の変化傾向を「日ごと」に表示するサポートも提供されています。
        
        # 5.2.4 勝者総取りテストのフルプッシュ設定
        
        勝者総取りテストのタスク設定では、ユーザーが「自動的フルプッシュ」オプションを有効にしているかどうかは、テスト終了後のフルプッシュ方法に影響します。
        
        フルプッシュ施策調整
        
        テストが「終了」（データの回収/レポーティング完成）状態に入る前に、施策を調整し、最終的なフルプッシュテストグループを変更することができます。
        
        Tip：終了したテストのフルプッシュ施策は調整できません。
        
        自動フルプッシュ
        
        「自動フルプッシュ」を有効にした場合、勝者総取りテスト終了後、ユーザーの設定に基づいて自動的に全ユーザーにプッシュされます。
        
        手動フルプッシュ
        
        「自動フルプッシュ」を有効にしていない場合、勝者総取りテストが終了すると、そのタスクは「フルプッシュ操作待ち」状態になります。ユーザーは全体的なプッシュコンテンツを選択し、手動でプッシュする必要があります。