[レポート] Amazon S3およびAmazon S3 Glacierの新機能 #STG203 #reinvent

はじめに

こんにちは、AWS事業本部のニシヤマです。はいマスキュラー。

本記事は、スピーカーセッション「STG203-R2 - [REPEAT 2] What's new with Amazon S3 and Amazon S3 Glacier」のレポートです

セッション概要

Amazon Simple Storage Service (Amazon S3) is the largest and most performant, secure, and feature-rich object-storage service. With Amazon S3, organizations of all sizes and industries can store any amount of data for any use case, including applications, IoT, data lakes, analytics, backup and restore, archive, and disaster recovery. In this session, we review recently launched Amazon S3 features such as Amazon S3 batch operations, Amazon S3 Glacier Deep Archive, Amazon S3 Block Public Access, and more to come.

レポート

アジェンダ

• コスト削減
  • S3 Glacier Deep Archive
  • S3 Intelligent-Tiering
  • Access tiers in inventory reports
• セキュリティとアクセス
  • S3 Block Public Access
  • S3 Access Analyzer
  • S3 Access Points
• データ管理
  • S3 Batch Operations
  • S3 CloudWatch percentiles
  • S3 Same-Region replication
  • S3 replication time control

Amazon S3　ストレージクラス

S3には以下のストレージクラスがあります。

• S3 標準
• S3 Intelligent-Tiering
• S3 標準 – 低頻度アクセス
• S3 1ゾーン – 低頻度アクセス
• S3 Glacier
• S3 Glacier Deep Archive

上に行くほどアクセス頻度が高く、下に行くほどアクセス頻度が低いアーカイブ（保管）用途となります。(画像では左がアクセス頻度が高く、右がアクセス頻度が低い)

コスト削減

S3 Glacier Deep Archive

• 2019年3月にローンチ
• 月額$0.00099/GB
• テープの負担なしでフルマネージド
• 99.999999999％の耐久性のために設計
• 12時間でデータを取得可能

S3 Glacierとの比較

• S3 Glacier
  • コスト：月額$0.004/GB
  • データ取り出し速度：高速1~5分、標準3~5時間、大容量取り出し5~12時間
  • 最小オブジェクト期間：90日
• S3 Glacier Deep Archive
  • コスト：月額$0.00099/GB
  • データ取り出し速度：標準12時間以内、大容量取り出し48時間以内
  • 最小オブジェクト期間：180日

S3 Intelligent-Tiering

• re:Invent2018でローンチ
• 自動でコストを最適化

使い方

1. PUTのオプションフラグを使用するかライフサイクルポリシーを使用して、オブジェクトをS3 Intelligent-Tieringに配置
2. オブジェクトは最初の30日間はFrequent Access Tierに常駐します
3. オブジェクトが30日間アクセスされない場合、自動的にInfrequent Access Tierに階層化されます
4. Infrequent Access Tierのオブジェクトにアクセスすると、さらに30日間は自動的にFrequent Accessに戻ります

パフォーマンスへの影響なし、運用のオーバーヘッドなし、取得にかかる料金なしとのことです。

INT Access Tiers in inventory reports

• 2019年10月にローンチ
• アクセス層へのオブジェクトレベルの可視性
• アクセスパターンに関するInsightを提供
• 請求結果を理解

セキュリティとアクセス

Block public access

• re:Invent2018でローンチ
• 偶発的なパブリックアクセスに対する総合的な保護を適用
• バケットまたはアカウントレベルで設定
• ACLアクセス、バケットポリシーアクセス、またはその両方に適用可能

Access Analizer for S3

• re:Invent2019でローンチ
• 共有アクセスのバケットを監視
• S3コンソールで検出結果が確認可能
• パブリックアクセスバケットおよび他アカウントへの共有バケットへのドリルダウンを提供

Amazon S3 Access Points

• re:Invent2019でローンチ
• 共有バケットのアクセス管理を簡素化
• 名前の競合を防ぐ新しい名前空間を確立
• ネットワークトラフィックを特定のVPCに制限

今までの共有バケットへのアクセスの管理方法では複数のサービスからのアクセスを一つのバケットポリシーで管理する必要がありました。

アクセスポイントを使用した共有バケットへのアクセスの管理

• S3 Access Pointsの発表によりプレフィックスを分けることでサービス毎のポリシーを利用してアクセス管理することが可能
• S3を利用しなくなったサービスのみ許可を削除することも容易になりました

• アクセスポイントの命名規則 [Access Point名]-[AWSアカウントID].s3-accesspoint.[リージョン].amazonaws.com

• 複数の地域で同じ名前を再利用

• 希望する名前を取得することが保証
• アカウントごとに最大1,000個のアクセスポイントが作成可能

※上2つに関してはアクセスポイント名にリージョンが含まれるため実現ができるということですね。

• クライアントを個別のグループにセグメント化する
• 各グループは独自のアクセスポイントを取得します
• 各アクセスポイントにポリシーを適用する
• ストレージの集中管理を維持する

データ管理

S3 Batch Operations

• 2019年4月にローンチ
• 以下の処理が実行可能
  • タグを置き換える
  • ACLを変更
  • Amazon S3 Glacierからオブジェクトを復元
  • オブジェクトをコピー
  • Lambda関数を実行する

Amazon CloudWatch Metrics Percentiles for S3

• 2019年7月にローンチ
• S3がCloudWatchメトリクスでパーセンタイルをサポート
• p0.0～p100(MAXと同じ)のパーセンタイルを利用して可視化とアラームの設定が可能

S3 Same-Region replication

• 同一リージョン内での自動非同期レプリケーション
• ユースケース
  • バックアップ、不正操作などからの保護
  • ログ集約

S3 retention control replication

• 複数のコピー間で保持期間を同期

Amazon S3 replication time control

• 15分未満で予測どおりにデータをレプリケーション
• 予測可能なレプリケーション時間
• S3サービスレベルアグリーメント（SLA）による裏付け
• CloudWatchメトリクスとイベント通知を使用してレプリケーションを監視

おわりに

単体での利用も可能でありつつ、多くのAWSサービスの裏側で稼働するS3ですが、より大量のデータを利用者がより運用負荷を少なく、安全・安価に保管することができる様にアップデートされているのだということが理解できました。 その分、選択できるオプションが多いので利用する側としても正しく理解し選ぶ必要がありそうです。