この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
大栗です。
現在re:Invent 2018のKeynote中で機械学習やHPC向けの高速なファイルシステムの新サービスが発表されました。
Amazon FSx for Lustre
AWSには様々なストレージサービスがありますが、多数のマシンからアクセスするためのサービスはレイテンシよりもスループットを重点においたサービスが多くありましたが、今回発表されたAmazon FSx for LustreはHPCや機械学習で必要になるスケールアウトな並列ファイルシステムで数百万GB/秒のスループットとミリ秒未満の低レイテンシのLustreファイルシステムを提供します。
Amazon FSx for LustreはS3と統合されていて長期間保存するデータセットを高性能なファイルシステムへ簡単にリンクしてコンピュータ集約型のワークロードを実行できます。また実行結果をS3に書き戻せます。
メリット
Amazon FSx for Lustreには以下のようなメリットがあります。
- 大規模でスケーラブルな性能：最大数百GB/秒、数百万IOPSのスループットを提供します。ペタバイトのデータを処理してミリ秒以下のレイテンシで操作可能です。
- S3やオンプレミスのデータへのシームレスなアクセス：Amazon FSxはS3と統合されており、S3のデータを自動でFSx for Lustreコピーし、結果をS3へ書き込めます。またAmazon Direct ConnectやVPN経由でオンプレミスからアクセスが可能です。
- フルマネージド：Amazon FSxはクラウドで高性能ファイルシステムを簡単に起動して実行できます。
- コスト効果が高い：長期のデータをAmazon S3や低コストなデータストアに保存でき、コスト最適化が可能です。コミットメントや事前の手数料は不要です。
- ネイティブなファイルシステムのインタフェース：POSIX準拠でありLinuxベースのアプリケーションを変更せずに使用できます。
- セキュアで準拠性が高い：Amazon FSxは自動的に暗号化され、VPCをプライベートネットワーク内に配置できます。
ユースケース
Amazon FSx for Lustreの代表的なユースケースを上げてみます。
- 機械学習：機械学習では膨大なデータをを取り扱うため、トレーニングのセータセットを高いスループットと一貫した低レイテンシのファイルシステム上で使用できます。
- ハイ・パフォーマンス・コンピューティング（HPC）：HPCの様な数千のEC2インスタンスからアクセスするには、パフォーマンスとコスト最適なファイルシステムが最適です。
- メディア処理とトランスコード：ビデオレンダリング、映像効果、メディア作成では膨大なデータを処理するためのストレージすリースが必要です。
- オンプレミスからのクラウド拡張：オンプレミスで実行しているHPCワークロードがピークでキャパシティが不足する場合に、クラウド上のリソースを使用する場合があります。オンプレミスからDirect Connect経由でデータをインポートしてAWS上で処理を行うことが可能です。
- ビッグデータ分析：不正検出や遺伝子、機構のモデリングなどの大規模なデータ処理では高性能ストレージを必要とするデータを生成します。
- 電子設計の自動化（EDA）：EDAではHPCの一般的なアプリケーションとして高速なファイルシステムが必要となります。
利用可能なリージョン
Amazon FSx for Lustreは現在以下の4リージョンで利用可能です。
- 米国東部 (バージニア北部)
- 米国東部 (オハイオ)
- 米国西部 (オレゴン)
- EU (アイルランド)
料金
料金は以下のようになっています。
| リージョン | 料金(月額) |
|---|---|
| 米国東部 (バージニア北部) | 1GB当たり$0.140 |
| 米国東部 (オハイオ) | 1GB当たり$0.140 |
| 米国西部 (オレゴン) | 1GB当たり$0.140 |
| EU (アイルランド) | 1GB当たり$0.154 |
さいごに
AWS上でHPC計算を行っている場合はもちろん、高速なファイルシステムがなくクラウド上のHPC利用をしていなかった方々は利用を検討してみては如何でしょうか？
なおAmazon FSx for Lustreを実際に触った検証を平行して実施中ですので、続報をお待ち下さい。
2
