[レポート] ANT206: Amazonの大規模分析におけるAWSサービス活用法 #reinvent

はじめに

本記事はAWS re:Invent 2018のセッション「ANT206- Under the Hood: How Amazon Uses AWS Services for Analytics at a Massive Scale」のレポートです。

As Amazon's consumer business continues to grow, so does the volume of data and the number and complexity of the analytics done in support of the business. In this session, we talk about how Amazon.com uses AWS technologies to build a scalable environment for data and analytics. We look at how Amazon is evolving the world of data warehousing with a combination of a data lake and parallel, scalable compute engines, such as Amazon EMR and Amazon Redshift.

スピーカーは以下のお二人。

• Naveen Yajaman - Principal Technical Program Manager
• Craig Woods - Senior Solutions Architect

レポート

Amazonにおける分析
　様々なビジネスユニットのデータをDWHに蓄積
　多様なユーザーとユースケース
　大量のデータセット
　900Kのデイリージョブ、80Kのアクティブユーザー
　
レガシーDWH
　Oracleを利用
　結合されたコンピュータとストレージ
　大量のハードウェア
　高価なライセンス
　ピーク時に対応可能とするための高価なハードウェア
　メンテナンスにかかる人的コストが膨大

プロジェクトのゴール
　Amazonのビジネスにスケール可能
　オープンなアーキテクチャ
　様々なアナリティクスの技術に対応
　AWSのテクノロジーを活用し、そこで得た知見をAmazonの顧客に提供

AmazonのレガシーDWH
　Oracle、DynamoDB、Auroraがデータソース
　ETLワークフローを介してOracleとRedshiftにデータを蓄積
　分析するユーザーやソフトウェア、アプリケーションにデータを提供

新DWHのアーキテクチャ
　データソースからのデータをメタデータと一緒にS3に蓄積
　S3に蓄積されたメタデータとデータはRedshiftとGlueに同期
　同期されたデータをETLワークフローやEMRを使って分析

レガシーDWHからの移行
　データをロードして新データレイクにロード
　レガシーDWHからData Moverを使って新データレイクに同期
　SCTによってOracleからRedsfhitに変換
　2週間でレガシーDWHを廃止

Redshift Spectrum
　Amazon RedshiftからExternal TablesでS3にデータを格納
　long-tailをサポート、巨大なユーザーデータに対応可能
　ミニマムな投資でインテグレーションを可能に

ユーザーの経験
　hootシステムというインターフェースを用意
　　スキーマやデータを簡易に検索し表示

マイグレーションのコンテキスト
　ビジネスを止めないこと
　分析をリデザインすること
　データの中央集権化を止めること
　コストエフェクティブであること

マイグレーションプログラムのコンポーネント
　マネジメント
　　ユーザーのリクエストをしっかりと聞く
　ツール
　　SCT、テーブルデータの移行ツール、トラッキング
　アーキテクチャ
　　ガイダンスと教育

マイグレーションのキー
　リーダーシップからのサポート
　　意思決定者からしっかり組織に伝える
　セルフサービスツールの拡充
　　ユーザーが自分で分析出来るように
　レガシーDWHと新DWHの一時的な共存
　エンジニアとユーザーの再教育
　コミュニケーション
　　大きな変更をする場合はコミュニケーションがとても重要
　　常にオーバーなくらいコミュニケーションすること

結論
　AWSは大規模なデータ分析に活用出来る
　S3はスケーラブル、セキュア、ロバスト、コストエフェクティブ
　オープンシステムアーキテクチャを選択する
　12/1にOracleのレガシーDWHを完全にシャットダウンする
　ペタバイトのDWHをAWSにマイグレーションすることは可能 　　

さいごに

大容量のDWHをAWSに移行した実績として、とても大きなチャレンジだったと思います。この事例が出ることでAWSの活用が更に広がるのではないでしょうか。