re:Invent 2021 HPC関連アップデート情報まとめ
YouTube で HPC Tech Shorts の re:Invent2021 HPC関連の振り返りを見ていました。DevelopersIO記事ベースで関連アップデートを復習しようと思ったついでにまとめましたので紹介します。
HPCに関連のアップデートを振り返りましょう！サービスの詳細は各リンクを参考にしてください。3行くらいで個人的に気になる部分をサマリました。
EC2インスタンス関連
C7gインスタンス 新登場
AWS Graviton3 プロセッサが発表されました。一番熱い。
- 最新世代の AWS Graviton3 プロセッサ搭載
- AWS Graviton2 に比べ25%パフォーマンスアップ
- DDR5メモリ搭載
- DDR4 に比べ50%メモリ帯域幅アップ
Hpc6aインスタンス 新登場
HPCの名を冠するインスタンスが発表されました。Parallel Cluster のコンピュートノードで是非試したい。
- HPC最適化インスタンス
- AMD 3rd Gen EPIY Milan プロセッサ搭載
- 同様x86系インスタンスと比較して65%コスト性能比向上
Im4gn/Is4genインスタンス 新登場
AWS Graviton2 を搭載したストレージに最適化されたインスタンスです。Prallel Cluster ですとヘッドノードのEBSを共有して読み書きさせるライトなストレージとして利用できるかも。
- I/O最適化インスタンス
- I/O性能重視の Im4gn
- 容量単価重視の Is4gen
- 第2世代AWS Nitro SSD カード搭載
- 旧世代（I系3世代）と比べ、I/O レイテンシーが60%削減、はらつきが75%削減
- AWS Graviton2 プロセッサ搭載
G5gインスタンス 新登場
AWS Graviton2 を搭載した初のGPUインスタンスです。GPUインスタンスは高額なので安価な選択肢が増えたのは嬉しい。
- NVIDIA T4G Tensor Core GPU 搭載
- AWS Graviton2 プロセッサ搭載
- CUDA 使えます
ストレージ関連
FSx For Lustre アップデート
マネージドな Lustre に便利な機能追加。個人的には熱い。
- FSx for Lustre の S3バケットが双方向同期できるようになった！
- 勝手に同期してくれるなんて嬉しい
- FSx for Lusgre に複数S3バケットを紐付けられるようになった！
- 計算結果エクスポート専用のS3バケットを別に指定できる
FSx for OpenZFS 新登場
マネージドな OpenZFS のストレージサービスです。Lustre使うほどでなければ選択肢としてありかも、読み書きさせてみないとわからないです。
- ファイルシステムが OpenZFS
- 高性能ながらコストを抑えた設計
- AWS Graviton プロセッサ搭載（世代については明記されていない）
- AWS SRD(Scalable Reliable Datagram)ネットワーク採用
その他
NICE EngineFrame アップデート
AWS HPC Connector for NICE EnginFrame という、NICE EnginFrame に追加機能が登場。
- NICE EngineFrame はWebブラウザからアクセスできWebポータルサイトが提供する既存サービス
- ユーザーはポータルからジョブの投入とかできる
- AWS HPC Connector によりオンプレのスパコンとAWS上のスパコン（AWS Parallel Cluster 3.0.2以降）を NICE EngineFrame で一元管理できるようになった
- ユーザーは計算したいクラスターを選択してジョブを投入する、そのクラスターかオンプレにあるのか、クラウドにあるのか意識しない
- ハイブリッドなHPC環境を実現できる！
- オンプレでEnginFrameを利用するにはライセンス購入が必要なので注意
- NICE EnginFrame が AWS ParallelCluster で AWS HPC クラスター管理を追加
- About NICE EnginFrame - EnginFrame Administrator Guide
おわりに
AWS Graviton 推しのアップデートが多かったですね。マネージドなストレージサービスもチップは Graviton ですと言ってるくらいですからね。ちなみに FSx for Lustre は2021年11月アップデートで新世代版が登場しチップは AWS Graviton になりました。
個人的に気になる部分を取り上げたらCPUばかり調べていました。嗜好の偏りが見られるまとめな気がしてきました。別視点のまとめをご紹介。
