[レポート] Deep dive on Amazon EBS #STG303 #reinvent

はじめに

みなさま Xin chao !

本記事は、AWS re:Invent 2019 のセッション 「STG303 Deep dive on Amazon EBS」 のレポートです。

セッション概要

セッション概要を和訳したものです。

この人気のあるセッションでは、Amazon Elastic Block Store (Amazon EBS) が、リレーショナルおよび非リレーショナルデータベース、エンタープライズアプリケーション、ビッグデータ分析エンジン、ファイルシステム、メディアワークフローなど、Amazon EC2 のワークロードのパフォーマンスとコストを最適化する方法をつかみます。 Amazon EBS の新機能、機能と利点、セキュリティ技術、パフォーマンスとボリュームタイプの詳細について学びます。 対象読者には、セキュリティ管理者、アプリケーション開発者、アプリケーション所有者、およびアプリケーションインフラストラクチャまたはストレージエリアネットワーク (SAN) を構築または管理する運用担当者が含まれます。

スピーカー

• Ashish Palekar - Director of Product Management , Elastic Block Store, Amazon Web Services
• Marc Olson - Principal Software Engineer, Amazon Web Services
• Mahesh Subramanian - Sr. Director of Engineering, Teradata

レポート

アジェンダ

• EBS におけるセキュリティと暗号化
• EBS でのパフォーマンスベストプラクティス
• EBS における可用性と耐久性
• EBS におけるコスト低減

Amazon EBS における暗号化

• Amazon KMS との統合 - AES-256 暗号化
• カスタマーマスターキー (CMK)

暗号化済み EBS は、以下も含めて暗号化されている。

• EBS 内に保存されたデータ
• ボリュームーインスタンス間のデータ転送
• ボリュームから作成されたスナップショット
• スナップショットから作成されたボリューム

EBS におけるセキュリティと暗号化

EBS ボリュームの暗号化

EBS のための AWS KMS マスターキーの作成

• キーローテーションポリシー
• AWS CloudTrail の有効化
• キー利用者のコントロール
• キー管理者のコントロール

EBS パフォーマンスの最適化と EBS 暗号化

EBS 暗号化は最適化された EBS の性能劣化を伴うか？

• 第 4・第 5 世代インスタンスファミリーにおいてはパフォーマンスの違いはない
• つまり、第 4・第 5 世代インスタンスファミリーにおいては、暗号化は性能劣化を伴わない

EBS スナップショットの暗号化

• 暗号化済み EBS ボリュームのスナップショットは、自動的に暗号化される
• 暗号化済みスナップショットから作成されたボリュームは、自動的に暗号化される
• スナップショットコピー時に、暗号化されていないスナップショットを作成することも可能
• スナップショットコピー時に、所有している異なるキーを使って再暗号化も可能

スナップショットおよび AMI の共有

• パブリック共有 : マーケットプレースでの AMI 提供に使用
• 特定アカウントとの (AMI でない) スナップショットの共有

スナップショットからのボリュームの作成には、リージョン内でのスナップショットの複製が必要。

リージョン間でのスナップショットの複製

• スナップショットを、リージョンおよびアカウントをまたいで複製する
• 対象のスナップショットの複製に対して、リソースレベルでの権限をロックダウンする
• マルチリージョン ＝ リージョン内のイベントから守ることが可能
• 権限のロックダウン ＝ 悪意のある、または不測の削除 (を防ぐ)

暗号化されていないスナップショットまたは AMI の暗号化

暗号化を容易に行うための 3 つの新機能

暗号化されていないスナップショットまたは AMI からの暗号化済みボリュームの展開 (異なる CMK を使用した暗号化済みスナップショットまたは AMI の再暗号化)

これまでは、暗号化されていないスナップショットまたは AMI を暗号化するために 1 度コピーしてから、ボリュームを作成する必要があったが、現在では、暗号化されていないスナップショットから直接暗号化済みボリュームを作成することが可能になった。

CMK を使った暗号化済みスナップショットのクロスアカウント共有

これまでは、CMK による暗号化済みスナップショットまたは AMI をクロスアカウントで 1 度コピーしてからボリュームを作成する必要があったが、現在では、スナップショットのクロスアカウント共有により、直接ボリュームを作成することが可能になった。

リージョン内の単一の設定による EBS のデフォルト暗号化設定

これまでも、IAM ポリシーにより、暗号化されていないボリュームの展開を防ぐことができたが、現在では、アカウントレベルでのリージョン内設定により暗号化を設定できるようになった。

アプリケーションの構築

まず、アプリケーションの目的を理解し、ワークロードにとって適切なボリュームを選択する。

以下のような場合は SSD を推奨。 1000 GiB 未満の場合、バーストの枯渇に留意する。

• 高パフォーマンスが要求される
• ほとんどがランダム I/O
• シーケンシャルな (DB の) ジャーナル
• ワークロードへの高い依存

性能劣化や機能停止がシステムに影響しないか？ についても検討する。

以下のような場合は スループット最適化 HDD (st1) を推奨。

• 高パフォーマンスが要求される
• ほとんどがシーケンシャルな I/O
• 持続した I/O

以下のような場合 Cold HDD を推奨

• 高パフォーマンスが要求される
• ほとんどがシーケンシャルな I/O
• 日次 (での処理)

インスタンスには複数の EBS ボリュームがアタッチできるので、組み合わせでの使用＋適切なボリュームタイプの使用により、パフォーマンスを最適化する。

EC2 インスタンスの選択

• C 系 ・・・ コンピュート最適化
• M / A / T 系 ・・・ 汎用
• R 系 ・・・ メモリ最適化

Nitro 世代の 3 つのパーツ

• Nitro Card
• Nitro Security Chip
• Nitro Hypervisor

最適化 EBS

• EBS 専用の帯域
• インスタンスあたり 最大 14 Gbps (1,750 MiB/s) →  19 Gbps (2,375 MiB/s)   ※ アップデート
• 小さいインスタンスでバースト利用可能

試用と計測

• 科学的手法を用いる
• ベンチマークの類はよいベースラインとなるが、パフォーマンスについては実際の環境とは異なる
• CloudWatch 等でモニターする

EBS の可用性と耐久性

EBS の設計思想

99.999% の可用性として設計されている ＝ 0.1% ～ 0.2% の年間故障率 (annual failure rate = AFR)

EBS スナップショット

• ボリュームデータの更新のポイントタイムバックアップ
• 更新されたブロックは S3 上に保管される
• 増分 (での取得) およびクラッシュ時の一貫性
• インスタンスにアタッチされている、すべてのボリュームの一貫したスナップショットを取得することが可能

Amazon Data Lifecycle Manager

• スナップショットライフサイクルの自動化
• CloudFormation との統合
• EBS ボリュームまたは、インスタンスレベルでのポリシー

EBS Fast Snapshot Restore   ※ 11/20 リリースの新機能

Recovery Time Objective (＝RTO) が 1/6 に

EBSでのコスト低減

EBS ボリュームの適切なサイズへの変更

• 事前に将来分のすべてのサイズの確保ではなく、必要に応じたサイズ、IOPS の増加を行う
• ファイルシステムでのサイズ拡張を忘れない

必要に応じた適切なインスタンスサイズの選択

EBS ボリュームの性能だけを高めても、インスタンス側の性能が十分でない場合、適切なパフォーマンスは発揮できない

例) EBS が 16,000 IOPS に対して、EC2 インスタンスは以下の通り。

• 2x large ＝ 8,000 IOPS
• 4x large ＝ 16,000 IOPS

Nitro の EBS 最適化バースト

• Nitro インスタンス ("5" 世代, I3n, t3, z1d) のサイズが 4x large より小さい場合、EBS 最適化バーストをサポート
• バースト IOPS および スループットは、24 時間ごとに最大 30 分間可能
• ワークロードが 30 分未満のバーストで十分な場合、より小さいサイズを利用可能

例) C5 large の場合

• ベースライン : 4,000 IOPS, 65.525 MB/s
• バースト : 20,000 IOPS, 437.5 MB/s

新規作成時のボリュームおよびスナップショットへのタグ付け

• インスタンスおよびアプリケーションのターミネート時、ボリュームを削除可能

Data Lifecycle Manager によるスナップショットコストの管理

• スナップショットの取得および保持数をポリシーで設定
• コスト配分タグによるスナップショットコストの追跡

時間ベースでのスナップショットの Lifecycle Manager ポリシー

• スナップショット世代管理ポリシー
• 日, 週, 月ベースの保持期間設定
• ビジネスコンプライアンスおよび DR 要件への対応

使用されていないボリュームの低コストボリューム化

デタッチされてから以下の場合に低コストボリューム化

• 6h (EV time limit) または
• ボリューム変更時からの時間

さいごに

Amazon EBS は、初期のころから存在するサービスですが、様々な機能アップデートが今も行われています。

うまく活用して、最適な可用性とパフォーマンスを、最適なコストで維持していきたいですね。