[レポート] re:Invent 2019 Amazon EFS Deep Dive #STG304 #reinvent

こんにちは。
ご機嫌いかがでしょうか。
吉井 亮です。

はじめに

本記事はAWS re:Invent 2019のセッション「STG304-R - Network file system (NFS) evolved Deep dive on Amazon EFS」 のレポートです。

セッション概要

このセッションでは、世界初のクラウド規模のファイルシステムとそのターゲットユースケースについて説明します。 Amazon Elastic File System（Amazon EFS）の機能と利点、Amazon EFSでの使用に適したアプリケーションの特定方法、サービスのパフォーマンスとセキュリティモデルの詳細について説明します。 対象読者は、ファイルベースのアプリケーションまたはNASを構築または運用するセキュリティ管理者、アプリケーション開発者、アプリケーション所有者、およびインフラストラクチャ運用担当者です。

スピーカーは以下のお三方。

Duncan Lennox - Director of Product Management, Amazon Web Services
Abrar Hussain - Principal Product Manager, Amazon Web Services
Ian Davis - Research Computing Environment Lead, Bayer Crop Science

速い変化に対応するファイルストレージを活用方法

ビジネスの変換、テクノロジーの変化に対応するファイルストレージはどのようなものでしょうか。
3つの観点があります。

インフラストラクチャ

セキュアで信頼性のあるストレージである必要があります。
常に使えるストレージが求められています。

コストとパフォーマンスがアプリケーションの拡張要件に見合っていることが求めらます。

データが保護され、統制され、バックアップされていることが求めらます。

アーキテクチャ

既存環境とクラウドを統合し、クラウドのメリットを享受します。

既存のセキュリティメソッドや IAM でデータを保護します。

最新のコンピュータモデルをサポートします。
例えばコンテナ、マイクロサービス、サーバーレスです。

ビジネス

コスト、管理の複雑性、メンテナンス、運用を軽減します。

Machine Learning と Analytics でビジネス価値を向上します。

イノベーションにフォーカスできます。

ワークロードに合わせたサービス選択

サービス	説明	用途
Amazon Elastic File Service(EFS)	Linux ベースワークロード	ビジネスワークロード向けのファイルシステム
Amazon FSx for Windows File Server	Windows ベースワークロード	ビジネスワークロード向けのファイルシステム
Amazon FSx for Lustre	高速処理ワークロード	機械学習、HPC、ビデオ処理等高速処理向けのファイルシステム

Amazon Elastic File Service(EFS)

EFS はクラウドネイティブで高信頼性でコスト最適化されたフルマネージドサービスです。

高可用性

• データは3つの AZ に保管
• マルチ AZ からファイルシステムにアクセス可能
• 強い一貫性

セキュア

• ネットワークトラフィックを制御
• ファイルアクセスを制御
• API アクセスを IAM で制御
• 保管/転送中データを暗号化
• NFS クライアントアクセスを IAM で制御 (Coming Soon!)

コスト

• 最小コミットメント無し
• 過剰な容量確保無し
• スポットインスタンスと併用でコスト減
• ローコストストレージへのライフサイクルマネジメントを自動
  • スタンダード $0.36/GB-month (東京リージョン)
  • IA $0.0272/GB-month, $0.012/GB for access (東京リージョン)

Global footprint

• バーレーン、サンパウロ、ストックホルム、香港リージョンに対応 (New!)
• 世界 19 リージョンで利用可能

What's new with Amazon EFS

Coming Soon

• Single File Restore (from AWS Backup)
• IAM 認証 for NFS クライアント
• General Purpose mode での IOPS 増強

Deep Dive

IA ストレージクラス

• アプリケーションの変更は不要
• 最大で約92%のコスト削減
• 自動化されたライフサイクルマネジメント

ライフサイクル

一定期間アクセスがないファイルは IA へ移動。

• 7日 (New!)
• 14日
• 30日
• 60日
• 90日

EFS パフォーマンスモード

	汎用	最大 I/O
用途	レイテンシー重視のアプリケーション 一般的なワークロード	ラージスケール、データヘビィなアプリケーション
アドバンテージ	ファイル操作における低レイテンシー	事実上無制限のスループットや IOPS のスケールアウト
トレードオフ	7k ops/sec リミット	レイテンシーが高め

EFS スループットモード

	バースト	スループット
用途	様々なワークロード	高いスループットが要求されるワークロード
アドバンテージ	スループットのオートスケール	ユーザーによるスループットの設定
トレードオフ	スループットはストレージ容量による	スループットはストレージとは別に課金

IAM 認証 for NFS クライアント

※ Coming soon になっていたので未だ GA ではありません

ファイルシステムへの認証を IAM で行う。
NFS クライアントの EC2 に割り当てた IAM ロールにポリシーを記述。
(サンプル)

{
    "Statement": {
        "Effect": "allow",
        "Action": "elasticfilesystem:Client*",
        "Resource": "fs-deadbeef"
    }
}

ファイルシステムのリソースポリシーに記述。
(サンプル)

{
    "Statement": {
        "Effect": "allow",
        "Action": "elasticfilesystem:Client*",
        "Principal": { "AWS": "myrole" }
    }
}

AWS サービスとのシームレスな統合

様々な AWS サービスと統合。
Fargate が Coming soon！

EC2 launch wizard

EC2 launch wizard のなかでファイルシステムをマウント可能になりました。
既存のファイルシステムを選択、または、新しいファイルシステムを作成します。

コンテナのファイルシステムとして

高可用性を持ったコンテナのファイルシステムとして EFS を利用。
例）
Jupyter、JIRA、Jenkins

共有ストレージとして

スケールアウトするアプリケーションの共有ストレージとして EFS を利用。
例）
WordPress、Drunpal、ML training

Backup for EFS

AWS Backup を使って EFS のバックアップ＆リストアを実現。

バックアップスケジュールと保持期間をユーザーで決めることが可能。

ウォームストレージとコールドストレージの2種類のストレージクラスを用意。

ファイル単位のリストアが可能になる予定。 (Coming soon)

EFS へのマイグレーション

AWS DataSync エージェントをオンプレミスにデプロイし
DataSync を経由して EFS へデータをマイグレーションします。

所感

共有ファイルシステムとしての EFS の優秀性は言うまでもありません。
AWS Backup との統合、実装予定の IAM 認証、コンテナでの利用、
DataSync と組み合わせてオンプレミスのバックアップなど
活用シーンは多岐に渡ります。
EFS を活用して素敵なシステムを構築してみてください。

以上、吉井 亮 がお届けしました。