[レポート] Amazon S3におけるデータレイク構築のベストプラクティス ft. AppsFlyer #STG359-R1 #reinvent

DA事業本部の川崎です。

本記事はAWS re:Invent 2019のセッションレポートとなります。

本セッションは、大高によるレポートブログ、 「Amazon S3におけるデータレイク構築のベストプラクティス ft. Sweetgreen」 のセッションのリピートセッションとなりますが、 今朝のキーノートで発表された「S3 Access Points」に関するスライドがありましたので、 追加発表部分の内容を共有させていただきます。

概要

Flexibility is key when building and scaling a data lake, and by choosing the right storage architecture you will have agility to quickly experiment and migrate with the latest analytics solutions. In this session, we explore the best practices for building a data lake on Amazon S3 that allows you to leverage an entire array of AWS, open-source, and third-party analytics tools, helping you remain at the cutting edge. We explore use cases for analytics tools, including Amazon EMR and AWS Glue, and query-in-place tools like Amazon Athena, Amazon Redshift Spectrum, Amazon S3 Select, and Amazon Glacier Select.

データレイクを構築およびスケーリングする際には柔軟性が重要であり、適切なストレージアーキテクチャを選択することにより、最新の分析ソリューションを使用して迅速に実証および移行する敏捷性を得られます。このセッションでは、Amazon S3でデータレイクを構築するためのベストプラクティスを探ります。これにより、AWS、オープンソース、サードパーティの分析ツールのすべてを活用して、最先端を行くことできます。 Amazon EMRやAWS Glueなどの分析ツールの使用事例、Amazon Athena、Amazon Redshift Spectrum、Amazon S3 Select、Amazon Glacier Selectなどのインプレースクエリツールについて説明します。

テキストを確認してみたところ、概要については同一でした。

スピーカー

スピーカーは以下の方々になります。

• John Mallory - Principal BDM Storage (Strat), Amazon Web Services
• Amy Che - Principal Technical Program Manager, S3, Amazon Web Services
• Gilad Katz - VP R&D, AppsFlyer

前半部分

本セッションの前半部分については 大高によるレポートブログをご覧ください。

アップデート情報

S3 Access Pointsの発表 [NEW]

多くのチームによる共有バケットアクセスの制御の簡素化

• チームを個別のグループに分割
  • マルチテナントおよびData Lake環境で役立つ
• 各グループは、独自のアクセスポイントを取得
  • これらの「バケット名」は、クライアントにとって、今までと同様に使えます
• 各アクセスポイントにポリシーを適用
  • 使用しているユーザーに基づいて、アクセスポイントへのパーミッションとアクセスを調整
• ストレージの集中管理を維持
  • 多くのアクセスポイントに対して、1つのポリシーセットでストレージ管理

共有バケットアクセスの制御の簡素化

おさらい

おさらいのスライドにもアップデートがありました。

• 新たに追加されたS3の機能「S3 Access Point」を利用することで、複数チームが共有バケットへのアクセスを管理する手段を簡素化できる

関連セッションの紹介

まとめ

当日午前中のキーノートで発表された新機能の紹介がアップデートされている、このスピード感が素晴らしいなと感じて、ブログにまとめてみました。

「S3 Access Point」が気になった方は、下記の記事もご覧ください。

[速報]アクセスポリシーを持ったS3のアクセスポイント「Amazon S3 Access Points」がGAになりました！ #reinvent

S3アクセスポイントのうれしい点を自分なりの理解で解説してみる #reinvent