AWSがAIワークロード向けカスタムチップTrainium3(3nm)を搭載するUltraServersを一般提供開始 #AWSreInvent

AWSが、新しいカスタムAIチップ「Trainium3」を搭載した「Amazon EC2 Trn3 UltraServer」の提供を開始しました。
より大規模なAIモデルを早く学習させ、より多くのユーザーに低コストでサービスを提供できるようになります。

https://www.youtube.com/watch?v=4y3pMGIS6DU

用語の整理

Trainium、UltraServer、Trn という3つのキーワードを整理します

• Trainium
  • Trainium はAWSが開発するAIカスタムチップです
• UltraServer
  • UltraServerは、Trainiumチップを搭載したサーバーです
• Trnインスタンス
  • UltraServerは、ユーザーにはEC2インスタンスとして提供されます
  • Trnはインスタンスタイプです

Trn3 UltraServerの特徴

• 1Mのトークンのコンテキストウィンドウに対応
• Trainium3を最大144個搭載
• 362 FP8 PFLOPS
• 706 TB/s メモリ帯域幅
• Trn2に比べて
  • パフォーマンス2倍
  • エネルギー効率4倍
  • メモリ帯域幅: 4倍

AWS Trainium3の特徴

• AWS初の3nmチップ
• Trainium2に比べて
  • パフォーマンス2倍
  • エネルギー効率4倍
  • チップ間の通信(NeuronSwitch v1)
    • メモリ帯域が2倍
    • 遅延が10マイクロ秒以下

動作実績

OpenAIのGPT-OSSモデルを用いたTrn3 UltraServersのテストでは、Trn2 UltraServersと比較して、チップあたり3倍のスループットを達成し、応答時間も4倍高速化したそうです

次世代のTrainium4の開発も着手

AWSはすでに次世代の「Trainium4」の開発に着手しています。Trainium4は、現行世代から4倍のFP4性能、3倍のFP8性能、4倍のメモリ帯域などさらなる処理性能向上を目指しています。業界標準のFP8の性能が3倍になるというのは、学習時間が1/3になったり、推論を3倍できることを意味します(PR中で "foundational leap" と表現されています)。

また、Trainium4はNVIDIA社のインターコネクト技術「NVLink」へ対応予定です。
これにより、NVIDIA MGXラックで、NVIDIA GPUとTrainium4を組み合わせたハイブリッド構成が可能になる見込みです。

参考

• Trainium3 UltraServer delivers faster AI training at lower cost
• Announcing Amazon EC2 Trn3 UltraServers for faster, lower-cost generative AI training - AWS