ABテストの行動分析に役立つMixpanelのエクスペリメントを解説!

MixpanelのExperimentsレポートがいまいち分かってない方向けの記事です。
2023.05.08

ミックスパネラーの國崎です。
今回はABテストの行動分析に役立つMixpanelのExperimentsレポートについて紹介します。

Experimentsレポートとは?

Mixpanelのレポートの1つで、ABテストを行った際の各イベント間の比較やコホート(またはプロパティ)間の比較ができます。
これを活用することで、ABテストをした結果どちらの人がどのイベントにどのくらい効果的だったのか、などの分析ができるようになります。

ABテスト計測するための実装コード

ExperimentsレポートでABテストの計測をするためには、以下専用のコードを埋め込まないといけません。

mixpanel.track('$experiment_started', {
'Experiment name': 'Test', 
'Variant name': 'v1'
})

「Experiment name」と「Variant name」は計測されるイベントの値になるため、好きな名前に変えてOKです。
ABテストでの比較をしたい場合は、AB間での「Experiment name」は同じで「Variant name」だけ変更するようにします。

今回は例として以下のVariant nameでABテストをしようと思います。

Experiment name Variant name 内容
Test v1 .button--primaryのボタンをクリックした人
v2 .quick-add__submitのボタンをクリックした人

上記の実装をする際は、javascriptのコードを以下のように書きます。

document.addEventListener('DOMContentLoaded', () => {
  const trackExperiment = (buttonSelector, variantName) => {
    const button = document.querySelector(buttonSelector);

    if (button) {
      button.addEventListener('click', () => {
        mixpanel.track('$experiment_started', {
          'Experiment name': 'Test',
          'Variant name': variantName,
        });
      });
    }
  };

  trackExperiment('.button--primary', 'v1');
  trackExperiment('.quick-add__submit', 'v2');
});

このコードを計測するサイトに埋め込んで、「.button--primaryのボタンをクリックした人」と「.quick-add__submitのボタンをクリックした人」で、他のイベントにどのように差が出るのか、MixpanelのExperimentsレポートで確認してみます。

Experimentsレポートを確認

MixpanelでExperimentsレポートを確認する際は、ヘッダメニューから遷移します。
experiment1

遷移した先で以下の項目を選択してExperimentsレポートを表示させます。

  • EXPERIMENT…レポートに表示させたいテスト(Experiment name)
  • BOARD…測定したいイベントのボード
  • CONTROL…今回計測する対象のグループ
  • VARIANT…CONTROLと比較するグループ
  • SEGMENT…上記測定イベントの内訳を表示(任意)

注意点ですが、BOARDは事前に作成しておかないと、上記の項目で該当項目がない状態になります。
そのためExperimentsレポートを使う際は、BOARDを事前に作成しておきましょう。

今回CONTROLには「.button--primaryのボタンをクリックした人」である【Variant nameのV1】を選択し、VARIANTには「.quick-add__submitのボタンをクリックした人」の【Variant nameのV2】を選択します。
実際の選択した設定は以下の感じ。
experiment2

レポート画面は以下のように表示されます。
experiment3

今回テストサイトの計測なので、あまりボリュームがなくパッとしない数字になってますが、公式ドキュメントにある事例を使うと、以下の感じでCONTROLグループとVARIANTグループの差が一目瞭然でわかるようになります。
experiment4

他の例になりますが、SEGMENTでOSを選択すると、測定したいイベントの内訳をOS別にしてCONTROLとVARIANTで比較することができます。
experiment5

Experimentsレポートで表示される%の計算方法などロジック部分が気になる方は公式ドキュメントで、その説明がされていますので、こちらもぜひご覧ください。

参考:

Experiments Report