[レポート] STG322 – みんなが欲しかったマネージドなファイルサーバはコレや!Amazon FSx for Windows File Server #reinvent

本記事は re:Invent 2018 のセッション「STG322 - Deep Dive on Amazon FSx for Windows File Server」のレポートです。

In this session, we explore the new fully managed service that makes it easy to launch and use shared file storage for Windows applications. FSx for Windows provides fully managed file storage built on Microsoft Windows Server, providing native support for Windows file system features and for the Server Message Block (SMB) protocol. Learn about Amazon FSx for Windows File Server features and benefits, and details about its performance and security models. The target audience is storage administrators, application developers, and applications owners and infrastructure operations personnel who build or operate file-based Windows applications or NAS.

  • スピーカー
    • Edward Naim - GM, AWS
    • Prashanth Bungale - Senior Product Manager, AWS
    • Darryl Osborne - Solutions Architect, AWS

スライド


レポート

アジェンダ

  • AWS ストレージの概要
  • AWS 上の Windows アプリケーション
  • Amazon FSx for Windows File Server の紹介
  • FSx for Windows File Server の実用例

AWS ストレージ の概要

AWS ではより多くの選択肢が用意されているので、最適にフィットするものを選ぶ

なぜネットワークファイルストレージ?

  • ファイルとディレクトリはローカルストレージと同じように表示され、機能する
  • マルチユーザ、コンピュータ、アプリケーションは同じファイルセットにアクセス出来る
  • 高いスループットと IOPS
    • 複数のユーザー、コンピュータ、アプリケーションにサービスを提供する
    • ローカルに近いレイテンシ
  • 既存のアプリケーションとその環境が動作する

IDC によると・・・

パブリッククラウド上で実行されている Windows インスタンスのほぼ三分の二は AWS 上で実行されている

オンプレミスの Windows ファイルサーバ管理の課題

  • ハードウェア管理
    • キャパシティ管理
    • ハードウェアの調達と購入
    • ストレージサーバーとボリュームの設定
    • ハードウェア障害の検出と対処
    • 資本投資
  • ソフトウェア管理
    • サーバー・ソフトウェアのインストールと設定
    • ファイルシステムのセットアップと構成
    • Windows update の適用
    • ソフトウェア・ライセンスの管理
    • バックアップ管理
    • セキュリティ監視

AWS 上の Windows ファイルサーバ管理が優れている

  • ハードウェア管理
    • 不要
  • ソフトウェア管理
    • サーバー・ソフトウェアのインストールと設定
    • ファイルシステムのセットアップと構成
    • Windows update の適用
    • ソフトウェア・ライセンスの管理
    • バックアップ管理
    • セキュリティ監視

もっと良くならないの?

みんなが求めてるのって、こういうやつ?

目的:Windows ストレージのクラウドへの移行とシフトに最適なソリューションを提供する

  • 100% のWindows アプリケーション互換性
  • アプリケーションに必要なパフォーマンス
    • ミリ秒以下のレイテンシ
    • 高いスループットと IOPS
    • 必要な負荷に基づく柔軟性
  • エンタープライズ対応
    • 高可用性
    • 高耐久性
    • セキュア
    • コンプライアンス

Amazon FSx for Windows File Server

  • フルマネージドな Windows フィルサーバを使用して、Windows ファイルストレージのリフト&シフトする
    • ネイティブ Windows 互換性
    • 速くて柔軟なパフォーマンス
    • エンタープライズ対応
    • 幅広いアクセシビリティ
    • フルマネージド

ネイティブ Windows 互換性と機能

  • NTFS
  • SMB(2.0 〜 3.1.1)
  • Microsoft AD 統合と Windows ACLs サポート
  • DFS 名前空間 と DFS レプリケーション

速くて柔軟なパフォーマンス

  • SSD ストレージ上に構築
  • 高いスループット
  • 高い IOPS
  • ストレージとは無関係にスループットを選択
  • ミリ秒以内の整合性

ストレージとは無関係にスループットを選択

スループット能力(MBps) 8 16 32 64 128 256 512 1,024 2,048
ベースラインスループット(MBps) 8 16 32 64 128 256 512 1,024 2,048
最大バーストスループット(MBps) 192 192 192 256 438 438 N/A N/A N/A

キャッシングによるさらに高いパフォーマンス:600 MBps〜3 GBps

エンタープライズ対応: 高可用性と高耐久性

  • ハードウェア障害を継続的に監視し、解決する
  • AZ 間でデータレプリケーション
  • Amazon S3 にバックアップ
  • DFS 名前空間、DFS レプリケーション を使ったマルチ AZ デプロイ

エンタープライズ対応: セキュアとコンプライアンス

  • 保管データと転送データの暗号化
  • AD 統合と Windows ACLs サポート
  • Amazon VPC セキュリティグループを使用するネットワークトラフィックアクセス制御
  • IAM を使った Admin API アクセスコントロール
  • AWS CloudTrail を使った API コールの監視とログ

幅広いアクセシビリティ:何がサポートされるか?

  • Amazon EC2
  • VMware Cloud on AWS
  • Amazon WorkSpaces
  • Amazon AppStream 2.0
  • Microsoft Windows Server 2008 以上
  • Windows 7 以上
  • Linux(Samba クライアント)

フルマネージド

  • ファイルサーバーとストレージボリュームを準備、設定、管理します。
  • Windows ソフトウェアを更新
  • バックアップは自動的に取得

幅広い利用事例をサポート

  • ホームディレクトリ
  • 形部アプリケーションのライン
  • Web サーバとコンテンツ管理
  • ソフトウェア開発環境
  • メディアワークフロー
  • 解析

ユーザの声

T.Rowe Price の Mark Gogel 氏 曰く

私たちは、アプリケーションの迅速な近代化とデータセンターインフラストラクチャの最小化に努めています。 他のクラウドファイルストレージ製品は、Windows の完全な互換性と、Amazon FSx for Windows File Server ほどのパフォーマンスを提供されていません。Amazon FSx はゲームチェンジャーです。

infor の Greg Bell 氏 曰く

Amazon FSx for Windows File Server には、バックアップの実行やソフトウェアパッチの適用など、ファイルストレージの操作に関連するタスクを管理する必要がなくなる管理ソリューションがあります。 これにより、私たちはコアビジネスに集中し、優れたビジネスソフトウェアをお客様に提供することができます。

Amazon FSx for Windows File Server の価格

  • ストレージキャパシティ料金: $0.130/GB-月 あたり
  • スループットキャパシティ料金: $2.200/MBps-月 あたり
  • バックアップ料金: $0.050/GB-月 あたり

1 TB のストレージに、8 MBps のベースラインスループット。500 GB のバックアップ の価格例

使えるリージョン

と、東京。。。ぐぅ(´;ω;`)

  • US West(Oregon)
  • US East(N.Virginia)
  • US East(Ohaio)
  • EU(Ireland)

マルチ AZ 構成

Amazon FSx for Windows File Server のファイルシステムは、作成時に指定する AZ に存在します。一時的な AZ の使用不可能を許容するために複数の AZ の冗長性を必要とするワークロードの場合、複数のファイルシステムを別々の AZ に作成し、同期させておき、それらの間でフェイルオーバーを構成できます。

Amazon FSxは、マルチ AZ の可用性と耐久性を得るために、複数 AZ にまたがるファイルシステムの展開に Microsoft 分散ファイルシステム(DFS)を完全にサポートしています。DFS レプリケーションを使用すると、2つのファイルシステム間でデータを自動的に複製できます。DFS 名前空間を使用すると、1つのファイルシステムをプライマリとして構成し、もう1つをスタンバイとして構成し、プライマリが応答しなくなった場合にスタンバイに自動的にフェイルオーバーすることができます

大量データの構成

  • FSx は Microsoft 分散ファイルシステム(DFS)名前空間をサポート
  • DFS 名前空間を使って、単一の名前空間でのファイルシステムを統合

ユーザーは、ファイルシステム ID とドメイン名からなる DNS 名を使用して、Windows ファイルシステムの各 FSx にアクセスする必要がなくなりました。代わりに、ユーザーはドメイン名と名前空間を使用してファイル共有にアクセスします。

名前空間あたり、50,000 共有、および 3 EiB(エクスビバイト)が上限

リード・レプリカを使用したスケールアウト・リード・パフォーマンス

  • FSx は Microsoft 分散ファイルシステム(DFS)レプリケーションをサポート
  • DFS レプリケーションを使って、複数のファイルシステム間で読み取りパフォーマンスをスケールアウトする

これにより、HPC ワークロード、データ分析、ビデオトランスコーディング、機械学習、人工知能などの読み込みの重いアプリケーションを複数のファイルシステムにまたがってスケールアウトし、単一のファイルシステムから利用可能なものより高い読み取りパフォーマンスを達成できます。

データ・シャーディングを使用したスケールアウト・パフォーマンス

  • DFS 名前空間を使用して、複数のファイルシステムにわたってデータをシャーディングすることによって、読み込みと書き込みの負荷が高いワークロードのパフォーマンスを向上させます。

データをより小さなデータセットまたは「シャード」に分割し、それらを異なるファイルシステムに格納することにより、複数のインスタンスからデータにアクセスするアプリケーションは、これらの断片を並列に読み書きすることにより、高いレベルのパフォーマンスを達成できます。

バックアップ

自動デイリーバックアップは1日1回実行され、保存期間は 0 - 35 日の指定ができます。日次バックアップウィンドウのある時点で、バックアッププロセスが初期化されている間(通常は数秒間)、ストレージ I/O が一時的に一時停止されることがあります。保存期間を 0 に設定すると、自動バックアップは取得されません。ユーザによる手動バックアップも取得できます。

パフォーマンス:キャッシングによるスループット

Amazon FSx は、Windows ファイルサーバー上でインメモリキャッシュを提供します。ワークロードのアクセスパターンに応じて、このサーバー側のキャッシュを利用することにより、より高いレベルのスループット(600 MBps〜3 GBps)が観測される場合があります。

パフォーマンス:SMB マルチチャネル

既存ファイルの移行

Amazon VPC に Microsoft AD 用の AWS ディレクトリサービス(AWS Managed Microsoft AD)をデプロイし、オンプレミスの Microsoft AD との間に一方向のフォレストレベルの信頼関係を作ります。同じ VPC に Amazon FSx ファイルシステムを作成し、AWS Managed Microsoft AD に追加し、ROBOCOPY 等のツールを使って移行します。

さいごに

多くのユーザがイメージする「マネージドな共有ファイルサーバ」のサービスがついに来ましたね!100% の Windows 互換性ですので、移行コストもかなり下がることが期待されます。これまでマネージドな共有ファイルサーバでは EFS があり、多くのユーザが Windows インスタンス対応を待ち望んでいたと思いますが、Windows 対応どころか、ネイティブでマネージドな Windows ファイルサーバをリリースしてくるとは!ユーザの期待を超えてくる AWS さすがです!

あとは、東京リージョンにはやく来る日を期待しましょう!(EFS は何年待ったんだっけ、、)

以上!大阪オフィスの丸毛(@marumo1981)でした!