AWS FSx for Window Server パフォーマンス観点アーキテクチャ #reinvent

こんにちは。
いかがお過ごしでしょうか。

ラスベガス帰りで体調が戻らない吉井です。
今回は re:Invent 2018 のキーノートで発表された Amazon FSx for Windows Server のセッション
STG322_Deep Dive on Amazon FSx for Windows File Server を受講しました。
そのなかでスケール方法について触れられていましたのでそこにフォーカスしてレポートします。

Amazon FSx for Windows Serverのリリースは
エンタープライズのワークロードをAWS上で実施されている、または、実施しようとしているお客様には朗報ではないでしょうか。
弊社のブログでも多くの記事がアップされています。

[速報] Windows で SMB アクセス可能なファイルサーバ！Amazon FSx for Windows File Server が発表されました！ #reinvent

Amazon FSx for WindowsをWorkspacesで試してみた #reinvent

Amazon FSx for Windowsをバックアップ ＆リストアしてみた #reinvent

Amazon FSx for Windowsのカスタムバックアップ を使ってみた #reinvent

FSx for Window Server自体のパフォーマンス

FSx for Window Serverは長いのでこれ以降は FSx Win と省略して記述します。
サービスとして設定されているパフォーマンスを考えてみます。

FSx Winはファイルシステム作成時にスループットを指定します。
これはファイルシステムごとのデータ処理量に影響します。
ファイルシステムへのI/Oはスパイクすることがあるので1日30分間のバーストクレジットが提供されています。

スループット能力(MBps)	8	16	32	64	128	256	512	1,024	2,048
ベースラインスループット(MBps)	8	16	32	64	128	256	512	1,024	2,048
最大バーストスループット(MBps)	192	192	192	256	438	438	N/A	N/A	N/A

※2018年12月2日時点の情報です。

注意点があります。
ファイルシステムのスループットは1GBあたり750KBpsに設定されています。
256MBpsのスループットを出すにはファイルシステムのストレージサイズを
342GB以上に指定する必要があります。
私がマネジメントコンソールでファイルシステムを作成してみた時には
警告等は表示されなかったのでご注意ください！

キャッシュによるスループット

FSx Winはインメモリキャッシュを備えています。
アクセスパターンによっては600MBps～3GBpsのパフォーマンスが観られることがあります。

スケールアップ

スケールアップは単純にファイルシステムの容量とスループットを向上させます。

スケールアウト

一つファイルシステムの最大スループットは2,048MBpsです。
これより多くの読み書きが発生する場合にはスケールアウトさせます。

アーキテクチャ

DFS名前空間を使い、複数のファイルシステムを一つのマウントポイント配下に統合します。
下のスライドでは、A-F/G-M/N-Zごとに3つのファイルシステムを作成しています。
おそらくファイル名の頭文字ごとに分散させていると推測しますが、
I/Oアクセスパターンに応じてベストな方法で分散させることが、実際には必要です。
例えば、データ種別ごと、部門ごと、年次ごとなど考えられます。

DFS名前空間サーバーはマルチAZに配置して、耐障害性を高めてます。

スライドには無いですが、FSx WinにはAWS Directory Services for Microsoft ADが必要です。

制限

リージョンあたりの制限があります。
スケールアウトするを計画される場合で制限に達する可能性があるときは
サポートへ上限緩和申請をするようにしてください。

• 総ストレージサイズ = 512TiB
• 総スループット = 10GBps

リードレプリカ

データ分析などの読み込みが多いケースにはリードレプリカ構成をとります。
各EC2からの書き込みは一つのファイルシステムへ行います。
読み込み用のファイルシステムをEC2数分作成し、DFSレプリケーションで複製しておきます。
スケールアウトとは違い、同じデータへの読み込みが多いケースに有効です。

まとめ

Windows ServerをAWS上へ移行する計画をされている方は多いと思います。
ADもファイルサーバーもEC2ではなく、マネージドサービスに移行出来れば
運用管理上のメリットが多くなるはずです。
FSx Winによってファイルサーバー移行の選択肢が大きく広がっていきます。
ファイルサーバーのパフォーマンスが心配になることがあっても上に書いたようなアーキテクチャで
解決出来るパターンもあると思います。

参考

Amazon FSx for Windows File Server
Amazon FSx for Windows Server公式ドキュメント
DFS 名前空間の概要