Amazon QuickSightで機械学習を活用して異常検出、予測などが可能になる「ML Insights」が一般提供開始になりました!

111件のシェア(ちょっぴり話題の記事)

どうも!大阪オフィスの西村祐二です。

re:Invent 2018で発表されましたAmazon QuickSightの追加機能「ML Insights」が先日、ついにGAとなりました!

https://aws.amazon.com/jp/about-aws/whats-new/2019/03/amazon_quicksight_announced_general_availability_of_mL_insights/

https://aws.amazon.com/jp/blogs/big-data/amazon-quicksight-announces-general-availability-of-ml-insights/

※2019/3/15現在、Amazon QuickSightのEnterprise Editionでのみ利用可能となっております。

ML Insightsとは

ML InsightsはAWSのBIサービスである「Amazon QuickSight」の追加機能的な立ち位置となるサービスです。

ML Insightでは下記の3つの機能を提供します。

  • ML-powered anomaly detection(異常検出)

  • ML-powered forecasting(時系列予測)

  • Auto-narratives(ストーリーの自動生成)

ML Insightsを使用すると、Amazon QuickSightでお客様の隠れたデータトレンドの発見、ビジネスを左右する重要な要因の特定、将来の結果の予測を手助けします。また、データを要約して理解しやすい自然言語で表現することができます。これにより手動による分析や調査にかかる時間を短縮できます。

試してみる

使用するデータ

チュートリアル用のテストデータが提供されています。

下記リンクからダウンロードできます。

https://s3.amazonaws.com/quicksight-ml-insights/ML-Insights-Sample-Dataset-V1.csv

※ML Insightsを利用するためにはデータの要件がありますので、実データに対してML Insightsを利用する際は下記ドキュメントを参照し、要件を満たしているか確認することをおすすめします。

https://docs.aws.amazon.com/quicksight/latest/user/ml-data-set-requirements.html

データをQuickSightに読み込む

今回は「Upload a file」から上記のサンプルデータをQuickSightに読み込みます。

読み込みが完了、分析のボタンをクリックすると下記のような画面が表示されます。

ML Insightsより読み込んだデータから想定されるデータの意味をインサイト(洞察)してもらう

ML Insightsは自動的にデータを解釈し、「データからこういったことが言える」というようなインサイト(洞察)を提供してくれます。ビジュアルが異なれば、洞察の種類も異なります。たとえば、時系列のビジュアルがある場合、期間ごとの変化、異常、予測などの洞察を得ることができます。

下記では、サンプルデータからDate(日付)とRevenue(収入)についてのグラフを表示しています。そのグラフの左上の「insights」をクリックすると、ML Insightsが自動的にデータを解釈したものを確認することができます。

左側のペインに下記のようなインサイトが表示されます。

提案されたインサイト

  • SUM OF REVENUE BY DATE
    Continuously detect anomalies for up to 1 million time series.

  • HIGHEST DAY
    Highest day is Nov 1, 2018 with total Revenue of 6,126,796.1858.

  • DAY OVER DAY CHANGE
    Total Revenue for Nov 17, 2018 decreased by 2.15% (-131,031.34720000066) from 6,100,697.1616 to 5,969,665.8144.

  • LOWEST DAY
    Lowest day is Jan 1, 2017 with total Revenue of 2,315,719.2642.

  • GROWTH RATE
    30-day compounded growth rate for total Revenue is 0.06%.

  • MOST RECENT ANOMALY
    ML-powered insight
    An anomaly was detected on Nov 1, 2018 primarily driven by higher than expected total Revenue of 5,962,021.01, where daily total Revenue was 6,126,796.19, +2.32% (139,133.92) compared to the previous day.

  • FORECAST
    ML-powered insight
    Total revenue is forecasted to be 6,045,831.651998129 for Dec 1, 2018.

  • YEAR TO DATE CHANGE
    Year-to-date total Revenue for Nov 17, 2018 increased by 61.08% (602,986,387.4774) from 987,264,348.9664 to 1,590,250,736.4438.

  • MONTH TO DATE CHANGE
    Month-to-date total Revenue for Nov 17, 2018 increased by 4.98% (4,832,921.631999999) from 96,997,554.213 to 101,830,475.845.

ML Insightsによる異常検出

ML Insightsを使用すると、最大100万個のメトリックに対して同時にMLを使用した異常検出を実行して、多くの場合集合体に埋め込まれている隠れた傾向と異常値を発見できます。

提案されたインサイトの上部にある「Add anomaly to sheet」をクリックするか

アプリケーションバーの「Add」を選択し、追加するかの2つの方法があります。

下記は自分で選択する方法の画像となります。

「Anomaly detection」を選択します。

グラフに対象のソースを選択すると「Get started」をクリックします。

異常検出するための閾値などを設定します。今回はデフォルトのままでOKとします。

「Run now」をクリックすると解析が行われます。

解析が完了するまでに数分かかることがあります。

解析が完了すると結果の要約が表示されます。右上の「Explore anomalies」をクリックすると詳しく確認することができます。

異常検出したときのデータを詳しく確認

「Explore anomalies」をクリックすると下記のようないつもと違った画面が表示されます。

異常値と検出されたカテゴリーが表示されています。

「SHOW ANOMALES BY DATE」をクリックすると日ごとに異常検出を確認することができます。

棒グラフのオレンジ色が選択している日時になります。その日時で詳細なデータが下に表示される形で確認することができます。

違う日時の棒グラフを選択すると、表示されるデータが変わります。

特定のカテゴリーにフォーカスして確認することもできます。

予測

いつもの画面に戻って、時系列のグラフから、これからどのようなデータになるか予測することができます。

やり方は簡単でグラフ右上から「Add forecast」をクリックするだけです。

下記のような見やすく色づけして表示されます。

予測のパラメータも左側のペインで簡単に変更し反映することができます。

また、予測されたグラフ上をクリックすると「What-if analysis」と表示されて、ここの値がもし、こうだったらどうなるのかを追加することができます。

ここではこの日付のTargetの値を大きくしてみして予測をします。

すると、下記のように指定した値をもとに予測し、それをグラフ上に表示してくれます。

また、こうして予測したデータもCSVでExportすることができます。

Auto-narratives

馴染みのない言葉ですが、要はグラフからわかることをテキストに要約したものを自動的に作成してくれる機能です。

裏では自然言語処理が使われているようです。作成された要約をダッシュ​​ボードに埋め込んで、読者にとって重要な洞察を強調し、ダッシュボード全体を見回すことなくデータにアクセスできるようにすることができます。テンプレートを定義すると、データセット内のデータが更新されると、要約は自動的に更新されます。

インサイトから「+」をクリックしてグラフを作成します。

グラフ右上から「Customize narrative」をクリックします。

下記のような画面が表示され、要約された文章をカスタマイズすることができます。if文を使ったりとかなり柔軟に設定することが可能となっています。

料金

Amazon QuickSightの料金については下記を参照ください。

https://aws.amazon.com/jp/quicksight/pricing/

さいごに

Amazon QuickSightに非常に強力な機能が追加されました。

ML Insightsを使えば機械学習の知識がなくても、異常検出したり、ビジネスに役立つ予測を可視化したり、グラフの要約をつけたり、より高度でわかりやすいタッシュボードを作ることができます。

Amazon QuickSightでEnterprise Editionの方は是非、活用してみてください!