[レポート] Amazon S3およびAmazon S3 Glacierの新機能 #STG203-R #reinvent

本記事は、セッション「STG203-R - [REPEAT] What's new with Amazon S3 and Amazon S3 Glacier」のレポートです

セッション概要

Amazon Simple Storage Service (Amazon S3) is the largest and most performant, secure, and feature-rich object-storage service. With Amazon S3, organizations of all sizes and industries can store any amount of data for any use case, including applications, IoT, data lakes, analytics, backup and restore, archive, and disaster recovery. In this session, we review recently launched Amazon S3 features such as Amazon S3 batch operations, Amazon S3 Glacier Deep Archive, Amazon S3 Block Public Access, and more to come.

登壇者

Paul Meighan - Principal Product Manager, Amazon Web Services

内容

新しいストレージクラスについて

• 次の2つのストレージクラスが追加された
  • Intelligent-tierling
  • Deep Archive

S3 Glacier Deep Archiveについて

• 2019年5月にローンチ（Generally Availableとなった）
• S3 GlacierとS3 Glacier Deep Archiveの主な違いは次の通り
  • S3 Glacier Deep Archiveは、最小保存期間が長くなることと、取り出し期間が長くなる分、コストがより低くなる（S3 Glacierが月$0.004 / GBなのに対し、$0.00099 / GB）

S3 Inteligent-tieringについて

• 2018年のre:inventでローンチ
• アクセス頻度が不定なアクセスを行うバケットに対して有効
  • アクセス頻度が多いならS3 Standard
  • アクセス頻度が少ないならS3 Standard IAもしくはS3 One Zone-IAを検討するとよい
  • 頻度が不定な場合・不明な場合はS3 Intelligent-Tiaringがよい
• S3 Intelligent-tiaringの動作例
  • PUTするかライフサイクルポリシーによって、オブジェクトをS3 Intelligent-Tieringが設定されたバケットへ配置
  • オブジェクトは30日間は「Frequent Access」の領域 に配置
  • もし、30日間アクセスがない場合には、自動的に「Infrequent Access」の領域へ配置
  • 「Infrequent Access」の領域へ配置されたオブジェクトにアクセスが合った場合には、追加で30日間「Frequent Access」の領域 に戻して配置する

INT Access Tiers in inventory reports

• 2019/10にローンチ済
• S3 Intelligent-Tieringストレージクラスに格納されているオブジェクトのアクセス層をレポートする
  • オブジェクト単位でのアクセス状況を表示
  • アクセスの傾向が確認できる
  • 請求金額の根拠が理解できるようになる

セキュリティ

ブロックパブリックアクセス機能

• 2018年のreinentでローンチ
  • 意図せず公開アクセスをしてしまっている場合に対する保護を適用する
  • バケットまたはアカウントレベルで設定
  • ACLアクセス、バケットポリシーアクセス、またはその両方に適用できる
  • （※筆者追記：例えば、バケット内のオブジェクトに対して、個別にパブリックアクセスを許可する設定になっていたとしても、ブロックパブリックアクセスのパ「ブリックアクセスをすべてブロック」がオンになっているとアクセスできない）
    • （※筆者追記2：その他、「ブリックアクセスをすべてブロック」がオフの状態で「新しいアクセスコントロールリスト (ACL) を介して許可されたバケットとオブジェクトへのパブリックアクセスをブロックする」などの子オプションの設定を行うことでより細かい設定も可能）

Access Analizer for S3

• 2019 reinventでローンチ
• 共有アクセスとなっているバケットを監視
• リソース名（バケット名）、アクセス日、アクセスレベル（Read、Write等）といった情報を取得可能
•   表示項目をクリックして詳細画面に移動→詳細画面からS3コンソールに移動することもできる

amazon S3 Access Points

• 2019 reinventでローンチ
• 共有バケットのアクセス管理を簡素化
• 名前の競合を防ぐ新しい名前空間を確立する
  • 次のような命名規則になる https://[access_point_name]-[accountID].s3-accesspoint.[region].amazonaws.com
  • 
• 指定したVPCからのアクセスに制限できる

S3 Batch Operations

• 2019/4月にローンチ
• オブジェクトに対して一括でAPIを実行可能
• 実行できるオペレーションは次の通り
  • タグの置換
  • ACLの置換
  • Amazon S3 Glacierからのリストア
  • コピーの作成
  • Lambda Functionの実行

Amazon CW Metrics Percentiles for S3

• Amazon S3 が Amazon CloudWatch メトリクスでパーセンタイルのサポートを追加した
  • p90、p95、p99、p99.9、またはその他のパーセンタイル (p100 を含む) で S3 リクエストメトリクスの可視化とアラームの設定を行うことができるようになった
  • S3 リクエストメトリクスでは、平均、最小、最大などの統計をサポートしている
  • 接続「できた」ことの検知を行います（外れ値（接続「できなかった」こと）は検知できません）

Amazon S3 replication time control

• レプリケーションを行う際に、レプリケーション時間のコントロールを有効にすると、新しいオブジェクトの 99.99% が 15 分以内にレプリケートされるようになった
  • GB あたりのデータ転送料金と CloudWatch メトリクス料金が別途適用される
  • 詳細はこちら

所感

前回のre:inventから今日のセッションまでの間で、数多くの更新がS3（及びS3 Glacier）に対して行われていまいsた。

コストの削減、セキュリティ強化、便利なデータ管理につながるアップデートが複数ありましたので、私のように1年近くS3のアップデート追ってなかったー、という方はぜひチェックしてみてください！

その上で、ブロックパブリックアクセスの設定は必要であれば個人的にぜひ行っていただきたいですし、ストレージクラスの設定（Glacier、Glacier Deep Archive含め）についても見直してみると、扱うファイルが多ければ多いほど恩恵が多いと思いますのでオススメします。

Glacier Deep Archiveについては、事例を交えたセッションのレポートも書いていますので、こちらのブログもご覧ください：[レポート] AWSを使用したデータアーカイブおよびデジタル保存ソリューション #STG234 #reinvent

半年くらいして内容を忘れた頃の自分（必要とするかまだ不明ですが）と、誰かの参考になれば幸いです。