分散並列ファイルシステムAmazon FSx for Lustreの学び方
Lustre とは
スパコン(HPC)でなくてはならないコンポーネントの一つが並列ファイルシステムです。
並列ファイルシステムがなぜ重要なのかは「一週間でなれる！スパコンプログラマ」を読んで頂くとして、様々なファイルシステムが存在するなかで、スーパーコンピュータ「富岳」含め、採用事例が豊富なのが Lustre です。
AWSでは構築・運用難易度の高いLustreをマネージドサービス(Amazon FSx for Lustre)として提供しており
- ストレージサイズ
- ストレージタイプ(SSD/HDD)
- IO性能
- スクラッチ・永続
を指定するだけで簡単に利用できます。
今回は、Lustreの知識が0の状態からAmazon FSx for Lustreに入門するまでの道筋をまとめてみました。
ステップ1:AWSのストレージサービスを30分で俯瞰
AWS には様々なストレージサービスが存在します。
※ キャプチャーは AWS Summit Online から
Amazon FSx for Lustre と同じファイルストレージに限定しても
- Amazon Elastic File System(EFS)
- Amazon FSx for Windows File Server
- Amazon FSx for Lustre
と３種類あります。
高性能コンピューティング(HPC)で求められるような高性能な分散ファイルシステムにピッタリなのが Amazon FSx for Lustre です。
※ キャプチャーは AWS Summit Online から。「数百GB/s,数百万IOPS」はtypoでは有りません。
※ キャプチャーは AWS Summit Online から
AWS ストレージサービスにおけるAmazon FSx for Lustreの立ち位置を AWS Summit Online のセッション「AWS-04 30分で理解するAWSストレージサービスの全体像」で学びましょう
ステップ２:ハンズオンで主要機能を学ぶ
座学はほどほどに、次のAWS公式のハンズオンで手を動かしながら、分散並列を体感します。
- メタデータ・実データの分離
- Lazy Loading
- S3 連携
- IORを使った並列I/Oベンチマーク
- Lustreファイルシステムの管理コマンド(lfs)
など、Amazon FSx for Lustreの際立った特性を学べます。
このハンズオンを終えた後は、Amazon FSx for Lustre が Amazon EFS(NFS) や名前だけは似ている Amazon FSx for Windows File Server とは全くの別物であると感覚的に理解できているはずです。
ステップ3:Black Beltオンラインセミナーでサービス全体を俯瞰
Amazon FSx for Lustreの超重要機能を体験した後は、Black Belt でサービス全体を学びます。
本Black Belt は 2019年3月ごろの情報を元にしたセミナーであることにご注意ください。
ステップ4:サービスの詳細を学ぶ
続いて Amazon FSx for Lustre の詳細を学びます。
がおすすめです。
公式ドキュメントはリファレンス的に活用するのに向いており、通しで読む場合は AWS公式のデジタルコースのほうが向いているように感じました。
Amazon FSx for Lustreは今年に限っても
など、大型の機能追加が行われています。
デジタルコースは2020年9月から提供されたばかりのため、これら最新機能も盛り込んでいます。
デジタルコースはタイトルに「入門(Primer)」とありますが、コースの難易度は中級です。
ステップ5:Lustre そのものを学ぶ
いくらマネージドサービスが便利とはいえ、ブラックボックスのまま運用するのは気持ちが悪く、マネージドサービスの裏側を知りたいエンジニアもいるかと思います。
Lustre 101 はその取っ掛かりとしておすすめです。
オークリッジ国立研究所(ORNL)で長年にわたり蓄積された Lustre 運用ノウハウをまとめたものであり
- 初心者向けのチュートリアル
- 並列ファイルシステム経験者向けの入門編
の2コースがあります。
最後に
Lustreの初心者向けに、AWSがマネージドサービスとして提供しているAmazon FSx for Lustreの入門的な情報源を集めてみました。
ステップ3までこなしたあとは、実務に合わせて幅よりも深さを優先しながらつまみ食いすると、なんとかサバイブできるのではないかと思います。
それでは。
