re:Invent 2021 HPC関連アップデート情報まとめ

2021.12.16

YouTube で HPC Tech Shorts の re:Invent2021 HPC関連の振り返りを見ていました。DevelopersIO記事ベースで関連アップデートを復習しようと思ったついでにまとめましたので紹介します。

HPCに関連のアップデートを振り返りましょう!サービスの詳細は各リンクを参考にしてください。3行くらいで個人的に気になる部分をサマリました。

EC2インスタンス関連

C7gインスタンス 新登場

AWS Graviton3 プロセッサが発表されました。一番熱い。

  • 最新世代の AWS Graviton3 プロセッサ搭載
    • AWS Graviton2 に比べ25%パフォーマンスアップ
  • DDR5メモリ搭載
    • DDR4 に比べ50%メモリ帯域幅アップ

Hpc6aインスタンス 新登場

HPCの名を冠するインスタンスが発表されました。Parallel Cluster のコンピュートノードで是非試したい。

  • HPC最適化インスタンス
  • AMD 3rd Gen EPIY Milan プロセッサ搭載
  • 同様x86系インスタンスと比較して65%コスト性能比向上

Im4gn/Is4genインスタンス 新登場

AWS Graviton2 を搭載したストレージに最適化されたインスタンスです。Prallel Cluster ですとヘッドノードのEBSを共有して読み書きさせるライトなストレージとして利用できるかも。

  • I/O最適化インスタンス
    • I/O性能重視の Im4gn
    • 容量単価重視の Is4gen
  • 第2世代AWS Nitro SSD カード搭載
    • 旧世代(I系3世代)と比べ、I/O レイテンシーが60%削減、はらつきが75%削減
  • AWS Graviton2 プロセッサ搭載

G5gインスタンス 新登場

AWS Graviton2 を搭載した初のGPUインスタンスです。GPUインスタンスは高額なので安価な選択肢が増えたのは嬉しい。

  • NVIDIA T4G Tensor Core GPU 搭載
  • AWS Graviton2 プロセッサ搭載
  • CUDA 使えます

ストレージ関連

FSx For Lustre アップデート

マネージドな Lustre に便利な機能追加。個人的には熱い。

  • FSx for Lustre の S3バケットが双方向同期できるようになった!
    • 勝手に同期してくれるなんて嬉しい
  • FSx for Lusgre に複数S3バケットを紐付けられるようになった!
    • 計算結果エクスポート専用のS3バケットを別に指定できる

FSx for OpenZFS 新登場

マネージドな OpenZFS のストレージサービスです。Lustre使うほどでなければ選択肢としてありかも、読み書きさせてみないとわからないです。

  • ファイルシステムが OpenZFS
  • 高性能ながらコストを抑えた設計
    • AWS Graviton プロセッサ搭載(世代については明記されていない)
    • AWS SRD(Scalable Reliable Datagram)ネットワーク採用

その他

NICE EngineFrame アップデート

AWS HPC Connector for NICE EnginFrame という、NICE EnginFrame に追加機能が登場。

  • NICE EngineFrame はWebブラウザからアクセスできWebポータルサイトが提供する既存サービス
    • ユーザーはポータルからジョブの投入とかできる
  • AWS HPC Connector によりオンプレのスパコンとAWS上のスパコン(AWS Parallel Cluster 3.0.2以降)を NICE EngineFrame で一元管理できるようになった
  • ユーザーは計算したいクラスターを選択してジョブを投入する、そのクラスターかオンプレにあるのか、クラウドにあるのか意識しない
    • ハイブリッドなHPC環境を実現できる!
    • オンプレでEnginFrameを利用するにはライセンス購入が必要なので注意

おわりに

AWS Graviton 推しのアップデートが多かったですね。マネージドなストレージサービスもチップは Graviton ですと言ってるくらいですからね。ちなみに FSx for Lustre は2021年11月アップデートで新世代版が登場しチップは AWS Graviton になりました。

個人的に気になる部分を取り上げたらCPUばかり調べていました。嗜好の偏りが見られるまとめな気がしてきました。別視点のまとめをご紹介。

参考