re:Invent 2021 HPC関連アップデート情報まとめ

YouTube で HPC Tech Shorts の re:Invent2021 HPC関連の振り返りを見ていました。DevelopersIO記事ベースで関連アップデートを復習しようと思ったついでにまとめましたので紹介します。

• Recap on all the HPC developments from re:invent 21 - YouTube

HPCに関連のアップデートを振り返りましょう！サービスの詳細は各リンクを参考にしてください。3行くらいで個人的に気になる部分をサマリました。

EC2インスタンス関連

C7gインスタンス 新登場

AWS Graviton3 プロセッサが発表されました。一番熱い。

• 最新世代の AWS Graviton3 プロセッサ搭載
  • AWS Graviton2 に比べ25%パフォーマンスアップ
• DDR5メモリ搭載
  • DDR4 に比べ50%メモリ帯域幅アップ

Hpc6aインスタンス 新登場

HPCの名を冠するインスタンスが発表されました。Parallel Cluster のコンピュートノードで是非試したい。

• HPC最適化インスタンス
• AMD 3rd Gen EPIY Milan プロセッサ搭載
• 同様x86系インスタンスと比較して65%コスト性能比向上

Im4gn/Is4genインスタンス 新登場

AWS Graviton2 を搭載したストレージに最適化されたインスタンスです。Prallel Cluster ですとヘッドノードのEBSを共有して読み書きさせるライトなストレージとして利用できるかも。

• I/O最適化インスタンス
  • I/O性能重視の Im4gn
  • 容量単価重視の Is4gen
• 第2世代AWS Nitro SSD カード搭載
  • 旧世代（I系3世代）と比べ、I/O レイテンシーが60%削減、はらつきが75%削減
• AWS Graviton2 プロセッサ搭載

G5gインスタンス 新登場

AWS Graviton2 を搭載した初のGPUインスタンスです。GPUインスタンスは高額なので安価な選択肢が増えたのは嬉しい。

• NVIDIA T4G Tensor Core GPU 搭載
• AWS Graviton2 プロセッサ搭載
• CUDA 使えます

ストレージ関連

FSx For Lustre アップデート

マネージドな Lustre に便利な機能追加。個人的には熱い。

• FSx for Lustre の S3バケットが双方向同期できるようになった！
  • 勝手に同期してくれるなんて嬉しい
• FSx for Lusgre に複数S3バケットを紐付けられるようになった！
  • 計算結果エクスポート専用のS3バケットを別に指定できる

FSx for OpenZFS 新登場

マネージドな OpenZFS のストレージサービスです。Lustre使うほどでなければ選択肢としてありかも、読み書きさせてみないとわからないです。

• ファイルシステムが OpenZFS
• 高性能ながらコストを抑えた設計
  • AWS Graviton プロセッサ搭載（世代については明記されていない）
  • AWS SRD(Scalable Reliable Datagram)ネットワーク採用

その他

NICE EngineFrame アップデート

AWS HPC Connector for NICE EnginFrame という、NICE EnginFrame に追加機能が登場。

• NICE EngineFrame はWebブラウザからアクセスできWebポータルサイトが提供する既存サービス
  • ユーザーはポータルからジョブの投入とかできる
• AWS HPC Connector によりオンプレのスパコンとAWS上のスパコン（AWS Parallel Cluster 3.0.2以降）を NICE EngineFrame で一元管理できるようになった
• ユーザーは計算したいクラスターを選択してジョブを投入する、そのクラスターかオンプレにあるのか、クラウドにあるのか意識しない
  • ハイブリッドなHPC環境を実現できる！
  • オンプレでEnginFrameを利用するにはライセンス購入が必要なので注意

• NICE EnginFrame が AWS ParallelCluster で AWS HPC クラスター管理を追加
• About NICE EnginFrame - EnginFrame Administrator Guide

おわりに

AWS Graviton 推しのアップデートが多かったですね。マネージドなストレージサービスもチップは Graviton ですと言ってるくらいですからね。ちなみに FSx for Lustre は2021年11月アップデートで新世代版が登場しチップは AWS Graviton になりました。

• 次世代の Amazon FSx for Lustre ファイルシステムを発表

個人的に気になる部分を取り上げたらCPUばかり調べていました。嗜好の偏りが見られるまとめな気がしてきました。別視点のまとめをご紹介。

• re:Invent 2021 私的HPCまとめ - Qiita

参考

• AWS Announces Three New Amazon EC2 Instances Powered by AWS-Designed Chips | Amazon.com, Inc. - Press Room