この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
データアナリティクス事業本部の笠原です。
ANT327『Modernize your analytics architecture with Amazon Athena』を聴講しましたので、そのレポートです。
セッションについて
登壇者
- Daniel Chen, Senior Product Manager, AWS
- Saurabh Bhutyani, Principal Analytics Solutions Architect, AMAZON WEB SERVICES
Session Level
300 - Advanced
Session Type
Chalk Talk
セッション概要
このトークセッションでは、Amazon Athenaのデータソースコネクタとオープンデータフォーマットを使用して、データメッシュ、ファブリック、仮想化などの最新の分析アーキテクチャを設計および実装し、データサイロを破壊して分析の俊敏性を促進する方法を学びます。
セッションは大きく分けて、機械学習・データ可視化・データメッシュの3つの観点で説明されており、 私の記事では、データメッシュの部分についてご紹介いたします。 機械学習・データ可視化の部分については、 @nayu_t_s のレポート記事を参照ください。
レポート
データメッシュ
データメッシュはモダンなデータアーキテクチャパターンの1つです。 以下の4つの基本原理があります。
- Domain ownership （ドメインにオーナーシップがある)
- Data as a product (製品としてのデータ)
- Self-serve data platform (セルフサービスデータプラットフォーム)
- Federated computational governance (統一的なコンピューティングガバナンス)
データに近いドメインにオーナーシップがあり、データは製品のように扱います。 例えば小売業の場合は、salesの他にsupply chainやmarketingなどの複数のドメインがあります。 各ドメインが持つデータは、各ドメインが責任を持って管理します。 他のドメインがそのデータを使って分析するためには、ドメインから提供される分析データは製品として扱います。
製品としてのデータとは、以下のような特徴を持っています。 各ドメインで管理されているデータを他のドメインでも迅速に利用できるように、 データコントラクトを整備し、読み取り専用として提供します。 データの管理はあくまでもオーナーのドメイン側で、独立して管理してます。
データドメイン側の"producer"がデータ製品をAthenaで作る方法を示します。 producer側は自らが管理するデータパイプラインを介して、S3バケットにデータを取り込みます。 producer自身は、管理下にある全てのデータのライフサイクル全般に関わる責任をもつ所有者となります。 producerはデータ利用者側("consumer")がデータを発見できるように、データをカタログ化します。 また、fine grained access controlを実施するために、Federated data governanceモデルを通じてデータをアクセスを制御します。
データメッシュアーキテクチャを用いることで得られる成果は以下のとおりです。
- ビジネスドメインデータレイクの独立した配信を加速化します
- ドメイン内のデータセキュリティとコンプライアンスを向上させます
- セルフサービスによるデータプロダクトの作成、発見、サブスクリプションを実現します
- コンシューマーがデータ製品に透過的にアクセスできます
- 長期的なアクセスの監視、監査、管理を行います
データメッシュ共通パターン
Hub and spoke
- producerはconsumerにデータを直接共有します
- 分権型ガバナンス
- 中央データカタログなし
- シンプルなセットアップとスタートアップが可能です
Athenaで実装すると以下のような構成になります。 producerは、Athenaで抽出したデータをLake Formationを経由して、consumerに共有します。 consumerは、共有されたデータから、自身に必要なデータをAthenaで取得して利用します。
Centralized governance
- producerは中央のカタログを経由してデータを共有します
- 中央集権的なガバナンスと監査を行います
- 統合されたアクセス制御が可能です
- 統一されたポリシー管理も可能です
Athenaで実装すると以下のような構成になります。 producerとconsumerの間にgovernanceを設置し、ここでデータカタログやアクセス管理等を行います。
最後に
ANT327 『Modernize your analytics architecture with Amazon Athena』のレポートでした。 データメッシュについては大規模なデータ管理における分散型アプローチとなっています。 まだ私自身もデータメッシュに関わる事例に関わっていないため、今後のソリューションの一つとしてさらに学んでいきたいと思います。
2
