この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
ベルリンの半瀬です。
はじめに
re:Invent2017のセッションをご紹介します。
原題: ABD206 - Building Visualizations and Dashboards with Amazon QuickSight
登壇:
- Luis Wang - Principal Product Manager AWS
- Randy Carnevale - Director, Data Science, Transfix
動画
スライド
[slideshare id=82886637&doc=abd206-building-visualizations-d85c3efd-1125-4b3f-bd44-e395da0d8367-343615441-171128092628]
内容
以下、セッションの動画内容とスライドの抜粋を紹介していきます。
Data From Everywhere
データはビジネス上で様々な局面で生まれる
- mobile IoTもその1つであり、広告などのマーケティングキャンペーン上でのクリックストリームなどが一例である
- より実情に近いデータはビジネスを加速させる
- 一方でほとんどのデータは分析に利用できないし、みられることがない
- 何故ならばデータの生成からストアまで全てコストだからであったからだ
何故これを主題とするかというと、多くの顧客の要望であったから
- データを有効に扱うためには、非常に困難であるし、多大な努力が必要であること
- 例えば、インフラを設計し、データをプロセスするためにスケールを考えなければならないし、
- また、データ自体のボリュームも考慮しなければならない
- 何故ならユーザーも増えるからだ
- これらをセットアップするのに、大抵数週間、時には数ヶ月も要する
さて次に、どういうことが必要となるかというと、
- 以下に簡単にデータにアクセス可能とするか
- 顧客は皆、S3上に、RDS上に、Redshift上に、またセキュアなVPC上にデータを持っている
- 必要なのは、全てのデータにコネクトすることだ
また、データの配分、データをアクセス可能とすることについては
- 全てのあなたのユーザーに対して可能とすること
- また、あなたの企業の承認をもつように統合すること
- 同様にこれらはスケールするように機能が作られる必要があるし、
- ユーザーにダッシュボード上で、それらを簡単にシェアすることができる
さらに
- これらを可能とするツールはたくさんあるが、
- 現在非常に高価である。数千ドルがユーザー、年数に応じて支払う必要がある
- これはスケーラブルで経済的でない。スタートアップであろうと、エンタープライズであろうと。
そういうわけで、我々はAmazon Quick Sightを作った
Cloud native BI Solution built on AWS
BIといったワードは一般的に様々なもの、ツールを指すことがあるが、Quick SightはAWSがすでに提供しているより広い範囲のデータ分析サービスに立戻るものではなく、AWS上にすでに格納されたデータの可視化に特化し、ダッシュボード上に共有させるものである。したがって、より広くて深いポートフォリオを提供することができ、顧客のデータ調査と理解を助けるものである。
Strategy
戦略は最初から変わらない。つまり顧客にフォーカスし、後方支援を行うこと。QuickSightはまだ若いサービスで、基本ロードマップは顧客によってシェイプアップされるため、その戦略は特に機能していると思う。
我々のロードマップで、つまり戦略上、主に4つの事柄にフォーカスをした
- 分析への権限を顧客企業の全員に与える
- あらゆるデータへの簡単なアクセス
- よりタイムリーな、データドリブンな決断を行う
- 高コストなデータインフラ維持からの解放
これらによってQuickSightはよりスケーラブルに、信頼性高く、セキュアになった
様々なAWS上のデータ（S3,RDS,Redshift,athena)から直接データをingestすることができるが、それにとどまらず、多くの顧客が持つことがある、オンプレミス上でのデータにも同じことができるようにしたかった。最もそれらのデータはファイアウォールの内側にあるかもしれないが。 その結果、QuickSightは先週プライベートVPCをサポートし、パブリックエンドポイントやファイアウォールへの穴あけなしに、DirectConnectを経由したデータアクセスが可能となった。
Quick Sight deliverd 46 items of capabilities
特に直近の追加でピックアップしたいのは以下
- 2017/11 Private VPC(Preview)
- 2017/11 Geospatial Maps と HIPPA
- 2017/10 Row Level Security
- 2017/8 Audit Logging with CloudTrail
- 2017/5 Federatated SSO
- 2017/4 AWS Directory Service AD Connector
- 2017/2 Scheduled Refresh
- 2016/12 Athena connector
Technicaly: Basic Concept
ダッシュボードを作成するということだけでなく、顧客のエンドユーザーに対してデータを提供する方法の一つとしてQuickSightを使うことができる。エンドユーザーに対してデータの底まで直接アクセス許可をする必要がないのだ。
Technicaly: SPICE
多くのデータベースやデータウェアハウスは、分析速度向上のための最適化はされていないため、それを補うものを作りたかった。SPICEとは
- より高速でスケーラブルな分析のためにインメモリに最適化されたエンジン
- msecのレスポンス
- フォールトトレラント（セルフヒーリング）
- 並列処理
- S3バックアップ
- 即時フェイルオーバー
Technicaly: Security Connect to On-premise
オンプレミスのデータをQuickSightで取り扱うためにDirectConnectを使用する
DEMO:
ソーシャルメディアのストリーム（twitter）をKinesisFirehoseからマシーンラーニングを経由し、S3に格納したデータをAthenaとQuicksightで可視化するような構成を考える
強調したいのは、構築したユーザー特有のマイクロサービスが実現でき、サーバープロビジョニングが全く必要がない構成であるということ
ここからDEMO
＜詳細は動画(20分あたりから)をご参照ください＞
Transfixの事例
Transfixは多くの大企業(小売、飲食品、製造、その他)のサプライチェーンをサポートし、貨物輸送業者に、輸送の仲介と可視化の新しい手段を提供する。結果として、時間・リソース・費用削減を実現する
- Transfixで実現するもの
- 市場: トラック輸送の決定
- Transfixのプラットフォームを使用して、簡単に早くトラック輸送を手配できる
- Transfixで事前審査済みの 40,000以上の運送業者から適切なものを見つけ出すことができる
- 可視化: 輸送網の例外管理
- 倉庫から配達先に届けられるまで、24時間365日あらゆる時点で品物のロケーションを追うことができる
- 遅延配送が発生した場合、その理由とともにアラートを受け取ることができる
- データの視認と分析
- データ可視化のによって、サプライチェーン上の非効率や新しい機会を見つけることができる
- Transfixのユーザー
- Transfix(内部): 営業チーム、マネージャー（アカウント、配送部門）、開発チーム、製造チーム
- 外部: 顧客、運送業者（ディスパッチャー、ドライバー、オペレータ）
- チャレンジ
- 集積された大量のクリーンデータとそれを情報に変換したい、鬱積した要求に応える
- ユーザー間の様々なレベルの技術的な知識と興味を満足させる
- プロダクションの書き込みとセキュリティに最適化されたインフラストラクチャを構成する
- 急速なビジネス上の業務や視点(興味)の変遷に備える
- データそのものの多様性とボリューム
TransfixにおけるAmazon QuickSight のアーキテクチャ概要は以下のとおり
様々なプロダクションシステムが稼働する複数のRDS上のデータ、Redshiftに移されたデータ、Kinesisを経由してインポートされたs3データなどをQuickSightで可視化する構成。なぜ Amazon QuickSightを使うのか
- (DEMOで示したような)簡単にテストできること
- ユーザーとデータを簡単にオンボードさせることができる
- データ: すでにAWSサービス上にあり、QuickSightをポイントするだけで良い
- ユーザー: 専門知識があるユーザーはSQLクエリを使うことができるし、新しいユーザーはSPICEから始めることができる(最も快適な方法を選択できる)
- 簡単にリフレッシュでき、その時点のライブデータを閲覧することができる
- ダッシュボードで簡単にユーザーに提供できる
- 複数の集計、フィルタリングに対応、提供ができる
例えば、財務観点で言えば、金額と貨物のTransfixのシステム上での毎日のフロー、及び月末時点での正確な分析（各月の集計など）に役立てられるだろう
ここからダッシュボードのDEMO
＜詳細は動画(48分あたりから)をご参照ください＞
さいごに
TransfixのDEMOでは、配送配達の地図上にプロットして特に配送が活発な地域をヒートマップとして見せたり、発送されるリージョンと配達先のリージョンのマトリクス図を生成し色分けができるなどが示されました。
データを直感的に、多くの示唆を含むような形で理解しやすいように可視化できることで、より早い経営的な判断が可能で優位に立つことができるし、結果的にビジネスを加速させるのだな、という点で興味深く、理解が深まりました。
という、ありがちなコメントで締めたいと思います。
理解を助ける参考先：
それではまた
14
