[レポート] STG301: Deep Dive on Amazon Elastic File System (Amazon EFS) #reinvent

はじめに

こんにちは、コンサル部の望月です。

比較的最近に日本へやってきたEFSですがアメリカでは2年ほど前から利用されていました。そこで実際にEFSを利用している企業のユースケースが聞けると言うことで聞いてきたので、AWS re:Invent 2018のセッション「STG301: Deep Dive on Amazon Elastic File System (Amazon EFS)」 のレポートをお送りします。

セッション概要

In this session, we explore the world's first cloud-scale file system and its targeted use cases. Learn about Amazon Elastic File System (Amazon EFS), its features and benefits, how to identify applications that are appropriate to use with Amazon EFS, and details about its performance and security models. The target audience is security administrators, application developers, and application owners who operate or build file-based applications.

スピーカー

• Vince Carreon
  • Sr. Product Manager , AWS
• Duncan Lennox
  • Director of PMT - EFS , AWS
• Amreth Chandrasehar
  • Principal Architect , T-Mobile
• Hans Koolen
  • Sr Director Commercial-IT, Head of Technology Transformatiomn , Philips

レポート

• アジェンダ
  • AWSストレージの概要
  • Amazon Elastic File System (Amazon EFS)の紹介
  • Deep dive
  • 顧客の利用例
  • ベストプラクティス
  • まとめとQ&A

AWSストレージの概要

• ポートフォリオの幅と深さ
  • 様々なストレージサービスが企業で利用されています

• より多くの選択 - ベストフィット
  • 用途ごとに様々なサービスが提供されています

• なぜネットワークファイルストレージは重要か
  • 大部分のデータは非構造化ファイルです
  • アプリケーションの大部分がファイルおよびファイルシステム上で動作します
  • AWSのネイティブサービスを使用してAWSのRe-platformingが簡単になりました
  • 既存のアプリケーションとIT環境を有効にするAWSサービス

Amazon EFSの紹介

• 完全に管理されたクラウドファイルシステム
  • AWSは、ファイルベースのアプリケーションやワークロードのさまざまなニーズに容易に対応するためのファイルシステムオプションを提供します
  • ビジネスワークロードのためのファイルシステム
    • Amazon EFS
      • Linuxベースのアプリケーション用に完全に管理されたクラウドネイティブファイルシステム
      • Linuxベースワークロード
    • Amazon FSx for Windows File Server
      • ビジネスアプリケーション用の完全に管理されたWindowsファイルサーバー
      • Windowsベースワークロード
  • コンピュータ集中型ワークロードのためのファイルシステム
    • Amazon FSx for Lustre
      • 計算集中型ワークロード用に完全に管理されたLustreファイルシステム
      • コンピュータ集中型ワークロード

Amazon EFS Deep dive

• Amazon EFSの主な利点
  • Simple
  • Elastic
  • Scalable
• Elastic & Scalable
  • 需要の伸びと縮小
  • ペタバイトのスケーラブルなファイルシステム
  • プロビジョニング不要
  • 容量の増加に伴うパフォーマンスのスケール
  • 1つのファイルシステムへの同時アクセスで数千のインスタンスをマウント
• Available & durable
  • 分散アーキテクチャ
  • 高性能で耐久性があります（耐久性は99.999999999％に設計されています）
  • Multi-AZ
  • 強い一貫性
  • 耐久性のためにAZ内およびAZ間に重複して保存されたデータ
• Shared access
  • リージョン間VPC Peering
  • リージョン内VPC Peering
  • AWS VPN
  • AWS Direct Connect
  • Transit Gateway
• 新しいEFSファイルシステムの制限
  • 増加
    • アカウントごとに1000ファイルシステム（10倍増）
  • 追加
    • VPCごとの400台のターゲット
• パフォーマンスモード
  • 一般的用途（デフォルト）
    • 大部分のワークロードに推奨
    • なんのためか
      • レイテンシに敏感なアプリケーションと汎用ワークロード
    • 利点
      • ファイル操作の最小限の可能性
    • トレードオフ
      • 7k ops/secの制限
    • いつ使用するか
      • ほとんどのワークロードに最適な選択肢
  • Max I/O
    • スケールアウトするワークロードに推奨
    • なんのためか
      • 大規模でデータ重視のアプリケーション
    • 利点
      • スループット/ IOPSをスケールアウトする実質的に無限の能力
    • トレードオフ
      • わずかに高い待ち時間
    • いつ使用するか
      • 大規模なワークロードの検討
• スループットモード
  • Burstingスループット（デフォルト）
    • 大部分のワークロードに推奨
    • なんのためか
      • 変化するスループットのワークロード
    • 利点
      • 自動スケーリングスループット
    • トレードオフ
      • スループットとストレージの比率を固定
    • いつ使用するか
      • ほとんどのワークロードに最適な選択肢
  • プロビジョニングスループット
    • より高いスループットとストレージ比率のワークロードに推奨
    • なんのためか
      • 整合性の高いスループットのワークロード
    • 利点
      • ユーザー定義のスループット
    • トレードオフ
      • スループットチャージの分離
    • いつ使用するか
      • ストレージ比率に対するインジェストまたはより高いスループット
• プロビジョニングスループットモード
  • 独立したスループット
    • 格納されたデータに依存しないスループットを提供
  • 増加する
    • 必要なだけ頻繁に
  • 切り替えたり減らしたりする
    • 24時間以上に1回
• Amazon EFS Infrequent Accessの紹介（Coming soon）
  • Amazon Elastic File Systemの新しいストレージクラスにより、コストを最大85％削減
    • EFSを使用して既存のアプリケーションに変更はありません
    • コストを最大85％削減
    • ライフサイクル管理の自動化
  • 使い方
    • ファイルシステムを作成する
    • ライフサイクル管理を有効にする
    • 追加されたファイルと30日間アクセスされなかったファイルはEFS IAに移動されます
• セキュリティモデルとコンプライアンス
  • ネットワークトラフィックを制御する
    • セキュリティグループとネットワークACLを使用する
  • ファイルとディレクトリのアクセスを制御する
    • POSIX権限を使用する
  • 管理アクセス（APIアクセス）を制御する
    • AWS IAM（アクションレベルとリソースレベルの権限）を使用
  • データを暗号化する
    • 格納データと転送データ
  • コンプライアンスを達成する
    • HIPAA, GDPR, PCI-DSS, SOC, ISO
• AWS Data Sync
  • オンプレミスストレージとAWS間のデータの移動を簡素化、自動化、高速化するオンライン転送サービス
  • ネットワークアクセラレーションソフトウェアの速度と信頼性をオープンソースツールのコスト効率と組み合わせる
• Amazon EFSエコノミクス
  • 最小コミットメントなしまたは前払い手数料なし
  • 事前にストレージを準備する必要はありません
  • 他の手数料または費用はありません
• 幅広いニーズの設計
  • アナリティクスメディアのワークフロー
  • データベースバックアップ
  • コンテナストレージ
  • アプリケーションのテストと開発
• ユースケース
  • T-Mobile
    • EFS with Kubernetes
    • CI/CD - Jenkinsスレーブ
    • HAとDR環境
    • TIBCO EMS
• ベストプラクティス
  • 汎用パフォーマンスモードでテストする
  • バーストスループットモードから開始
  • Linux kernel 4.3+
  • EFS mount helper(NFSv4.1)
  • 大きいIOサイズ(IOを集約する)
  • マルチスレッド
  • マルチインスタンス
  • マルチディレクトリ
  • モニタメトリクス

まとめ

2年ほど前から利用されていることもあり、ユースケースででてきたT-Mobileの事例が大変参考になりました。

まだまだ、日本での利用は少ないかと思いますが積極的に検証を行い、EFSの恩恵にあやかれればと思います！