【レポート】ABD206 Building Visualizations and Dashboards with Amazon QuickSight – #reinvent #ABD206

AWS re:Invent 2017

#イベントレポート

#Amazon Aurora

#レポート

#Amazon QuickSight

#AWS

hanse

2017.12.10

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

ベルリンの半瀬です。

はじめに

re:Invent2017のセッションをご紹介します。

原題: ABD206 - Building Visualizations and Dashboards with Amazon QuickSight
登壇:

Luis Wang - Principal Product Manager AWS
Randy Carnevale - Director, Data Science, Transfix

動画

スライド

[slideshare id=82886637&doc=abd206-building-visualizations-d85c3efd-1125-4b3f-bd44-e395da0d8367-343615441-171128092628]

内容

以下、セッションの動画内容とスライドの抜粋を紹介していきます。

Data From Everywhere

データはビジネス上で様々な局面で生まれる

mobile IoTもその1つであり、広告などのマーケティングキャンペーン上でのクリックストリームなどが一例である
より実情に近いデータはビジネスを加速させる
一方でほとんどのデータは分析に利用できないし、みられることがない
何故ならばデータの生成からストアまで全てコストだからであったからだ

何故これを主題とするかというと、多くの顧客の要望であったから

データを有効に扱うためには、非常に困難であるし、多大な努力が必要であること
例えば、インフラを設計し、データをプロセスするためにスケールを考えなければならないし、
また、データ自体のボリュームも考慮しなければならない
何故ならユーザーも増えるからだ
これらをセットアップするのに、大抵数週間、時には数ヶ月も要する

さて次に、どういうことが必要となるかというと、

以下に簡単にデータにアクセス可能とするか
顧客は皆、S3上に、RDS上に、Redshift上に、またセキュアなVPC上にデータを持っている
必要なのは、全てのデータにコネクトすることだ

また、データの配分、データをアクセス可能とすることについては

全てのあなたのユーザーに対して可能とすること
また、あなたの企業の承認をもつように統合すること
同様にこれらはスケールするように機能が作られる必要があるし、
ユーザーにダッシュボード上で、それらを簡単にシェアすることができる

さらに

これらを可能とするツールはたくさんあるが、
現在非常に高価である。数千ドルがユーザー、年数に応じて支払う必要がある
これはスケーラブルで経済的でない。スタートアップであろうと、エンタープライズであろうと。

そういうわけで、我々はAmazon Quick Sightを作った

Cloud native BI Solution built on AWS

BIといったワードは一般的に様々なもの、ツールを指すことがあるが、Quick SightはAWSがすでに提供しているより広い範囲のデータ分析サービスに立戻るものではなく、AWS上にすでに格納されたデータの可視化に特化し、ダッシュボード上に共有させるものである。したがって、より広くて深いポートフォリオを提供することができ、顧客のデータ調査と理解を助けるものである。

Strategy

戦略は最初から変わらない。つまり顧客にフォーカスし、後方支援を行うこと。QuickSightはまだ若いサービスで、基本ロードマップは顧客によってシェイプアップされるため、その戦略は特に機能していると思う。我々のロードマップで、つまり戦略上、主に4つの事柄にフォーカスをした

分析への権限を顧客企業の全員に与える
あらゆるデータへの簡単なアクセス
よりタイムリーな、データドリブンな決断を行う
高コストなデータインフラ維持からの解放

これらによってQuickSightはよりスケーラブルに、信頼性高く、セキュアになった

様々なAWS上のデータ（S3,RDS,Redshift,athena)から直接データをingestすることができるが、それにとどまらず、多くの顧客が持つことがある、オンプレミス上でのデータにも同じことができるようにしたかった。最もそれらのデータはファイアウォールの内側にあるかもしれないが。その結果、QuickSightは先週プライベートVPCをサポートし、パブリックエンドポイントやファイアウォールへの穴あけなしに、DirectConnectを経由したデータアクセスが可能となった。

Quick Sight deliverd 46 items of capabilities

特に直近の追加でピックアップしたいのは以下

Technicaly: Basic Concept

ダッシュボードを作成するということだけでなく、顧客のエンドユーザーに対してデータを提供する方法の一つとしてQuickSightを使うことができる。エンドユーザーに対してデータの底まで直接アクセス許可をする必要がないのだ。

Technicaly: SPICE

多くのデータベースやデータウェアハウスは、分析速度向上のための最適化はされていないため、それを補うものを作りたかった。SPICEとは

より高速でスケーラブルな分析のためにインメモリに最適化されたエンジン
msecのレスポンス
フォールトトレラント（セルフヒーリング）
並列処理
S3バックアップ
即時フェイルオーバー

Technicaly: Security Connect to On-premise

オンプレミスのデータをQuickSightで取り扱うためにDirectConnectを使用する

DEMO:

ソーシャルメディアのストリーム（twitter）をKinesisFirehoseからマシーンラーニングを経由し、S3に格納したデータをAthenaとQuicksightで可視化するような構成を考える

強調したいのは、構築したユーザー特有のマイクロサービスが実現でき、サーバープロビジョニングが全く必要がない構成であるということ

ここからDEMO
＜詳細は動画(20分あたりから)をご参照ください＞

Transfixの事例

Transfixは多くの大企業(小売、飲食品、製造、その他)のサプライチェーンをサポートし、貨物輸送業者に、輸送の仲介と可視化の新しい手段を提供する。結果として、時間・リソース・費用削減を実現する

Transfixで実現するもの
- 市場: トラック輸送の決定
- Transfixのプラットフォームを使用して、簡単に早くトラック輸送を手配できる
- Transfixで事前審査済みの 40,000以上の運送業者から適切なものを見つけ出すことができる
- 可視化: 輸送網の例外管理
- 倉庫から配達先に届けられるまで、24時間365日あらゆる時点で品物のロケーションを追うことができる
- 遅延配送が発生した場合、その理由とともにアラートを受け取ることができる
- データの視認と分析
- データ可視化のによって、サプライチェーン上の非効率や新しい機会を見つけることができる
Transfixのユーザー
- Transfix(内部): 営業チーム、マネージャー（アカウント、配送部門）、開発チーム、製造チーム
- 外部: 顧客、運送業者（ディスパッチャー、ドライバー、オペレータ）
チャレンジ
- 集積された大量のクリーンデータとそれを情報に変換したい、鬱積した要求に応える
- ユーザー間の様々なレベルの技術的な知識と興味を満足させる
- プロダクションの書き込みとセキュリティに最適化されたインフラストラクチャを構成する
- 急速なビジネス上の業務や視点(興味)の変遷に備える
- データそのものの多様性とボリューム

TransfixにおけるAmazon QuickSight のアーキテクチャ概要は以下のとおり

様々なプロダクションシステムが稼働する複数のRDS上のデータ、Redshiftに移されたデータ、Kinesisを経由してインポートされたs3データなどをQuickSightで可視化する構成。なぜ Amazon QuickSightを使うのか

(DEMOで示したような)簡単にテストできること
ユーザーとデータを簡単にオンボードさせることができる
- データ: すでにAWSサービス上にあり、QuickSightをポイントするだけで良い
- ユーザー: 専門知識があるユーザーはSQLクエリを使うことができるし、新しいユーザーはSPICEから始めることができる(最も快適な方法を選択できる)
簡単にリフレッシュでき、その時点のライブデータを閲覧することができる
ダッシュボードで簡単にユーザーに提供できる
複数の集計、フィルタリングに対応、提供ができる

例えば、財務観点で言えば、金額と貨物のTransfixのシステム上での毎日のフロー、及び月末時点での正確な分析（各月の集計など）に役立てられるだろう

ここからダッシュボードのDEMO
＜詳細は動画(48分あたりから)をご参照ください＞

さいごに

TransfixのDEMOでは、配送配達の地図上にプロットして特に配送が活発な地域をヒートマップとして見せたり、発送されるリージョンと配達先のリージョンのマトリクス図を生成し色分けができるなどが示されました。
データを直感的に、多くの示唆を含むような形で理解しやすいように可視化できることで、より早い経営的な判断が可能で優位に立つことができるし、結果的にビジネスを加速させるのだな、という点で興味深く、理解が深まりました。

という、ありがちなコメントで締めたいと思います。
理解を助ける参考先：