AB Trend Controls Analysis Sample（A/Bテストその2） | Alteryx Predictive Tools 道場 Advent Calendar 2018 #21

DI部プリセールスエンジニアの兼本です。

当エントリは『Alteyx Predictive Tools 道場 Advent Calendar』の21日目のエントリです。
昨日ご紹介した「AB Treatments Sample（A/Bテストその1）」に続き、2日連続で私が担当させていただきます。

クラスメソッド Alteryx Predictive Tools 道場 Advent Calendar 2018 - Qiita
Alteryx Predictive Tools 道場 Advent Calendar ｜ シリーズ ｜ DevelopersIO

前提条件

本シリーズではAlteryx2018.4を使用しています。

どんなサンプル？

Alteryx Designerを起動して、「ヘルプ > サンプルワークフロー > Predictive tool samples > Predictive Analytics > 21.AB Trend Controls Analysis Sample」から開くことができます。

また、本ワークフローを参照するにはAlteryx Predictive Tools with Rがインストールされている必要があります。

AB Trend Controls Analysis Sampleとは？

以下は本サンプルワークフローの全体図です。

今回のテストはAB Treatments Sample（A/Bテストその1）の続きになっており、あるレストランチェーンがメニューの刷新を放送や新聞広告を通じて告知した時の潜在的な影響を測るためにピックアップした2つのDMA（ドミナントマーケティングエリア）に含まれる9店舗で行った施策を評価するワークフローになっています。

データ入力ツール

まずは恒例の入力データの確認です。
このサンプルでは、以下の3つのデータを入力しています。

1番目のデータ

今回のABテスト実施前となる、2010年1月2日から2011年10月8日までの店舗・週ごとの店舗への来客状況（Traffic）、支出（Spend_Cost）、総収入（Gross_Rev）の実績データです。
本サンプルワークフローでは、このデータを元にABテストの基準となるトレンドを作成します。

2番目のデータ

2番目のデータはテキスト入力ツールを使用しています。
このデータはABテストの実験店舗を見つける処理を実装した別のサンプルワークフロー「AB Treatments Sample（A/Bテストその1）」で求めた9店舗を示すデータとなっています。

3番目のデータ

3番目のデータは過去分の2010年1月2日から実験店舗でのテスト実施後の2012年3月7日までを含む実績データとなっています。

AB傾向ツール

それではABテストに関するツールを確認していきます。 最初のツールは赤枠で囲った部分で使用している「AB傾向」ツールです。

AB傾向ツールは、特定の指標に対して季節性を鑑みたトレンドを求めるために使用します。

本サンプルでは、以下のように店舗ごとの12週（四半期）ごとの来客状況（Traffic）をトレンドの指標値として求めています。

AB制御ツール

AB制御ツールはテストを実施したユニットの名称と季節性を鑑みた全ユニットのデータを入力として受け取り、テストを実施した店舗に近い指標を持つユニットを見つけるために使用します。

ワークフローでは下図の赤枠の部分です。

今回のサンプルでは、以下のような設定をすることで、メニュー改定の実験店舗に選択した9店舗と来客状況（Traffic）のトレンドが近い店舗をピックアップしています。

このツールで評価をした結果、実験店舗と近い傾向を持つ18の店舗がピックアップされました。

次のAB分析ツールでは、実験店舗となった9店舗と、それ以外の店舗からピックアップした来客状況が似ている18店舗を3つの指標で比較してABテストの実施結果を評価します。

AB分析ツール

AB分析ツールでは、過去の測定値を元にパフォーマンスの変化率を確認することができます。

ワークフローでは以下の赤枠で囲んだ部分です。

本サンプルでは、来客状況（Traffic）、支出（Spend_Cost）、総収入（Gross_Rev）という異なる3つの切り口で評価するために、3つのAB分析ツールを使用しています。

閲覧ツール

AB分析ツールを使用して評価した結果はそれぞれ以下のような出力になります。

Oアンカー

Oアンカーには以下のようなレポートが出力されます。
このレポートには分析の結果に関するサマリーといくつかのチャートが含まれています。

Iアンカー

Iアンカーの出力はダッシュボードのようなインタラクティブレポートとなっています。
内容としてはOアンカーの出力と同じですが、違った切り口でデータを確認することができるようになっています。

これらの結果から、今回の実験店舗での検証結果は来客状況（Traffic）、支出（Spend_Cost）、総収入（Gross_Rev）の3つの指標において、統計的に有意であることが確認できました。

まとめ

以上、AB Trend Controls Analysis Sampleワークフローのご紹介でした。
明日の22日目は弊社にいのによる「22.Violin Plots」の予定です。明日もお楽しみに!

Alteryxの導入なら、クラスメソッドにおまかせください

日本初のAlteryxビジネスパートナーであるクラスメソッドが、Alteryxの導入から活用方法までサポートします。14日間の無料トライアルも実施中ですので、お気軽にご相談ください。