【速報】Inf2インスタンスが発表されました #reInvent
ども、re:Invent現地参加組の もこ@札幌オフィスです。
現在開催中の火曜日のKeynoteで「Inf2 Instance」が発表されました！
Inf2インスタンスの発表！！
会場ではInf2インスタンスが発表されました！！！！今日からプレビュー申込み開始となります。
Inf2は、従来の4倍のスループット、10分の1のレイテンシーを兼ね備えた機械学習推論インスタンスです。
Inf2インスタンスは最大2.3PFlopsのDLパフォーマンス、385GBのアクセラレーターメモリに9.8TB/sのメモリ帯域を備えたインスタンスタイプで、Inf1インスタンスと比較して3倍のコンピューティングパフォーマンス、4倍のアクセラレーターメモリ、4倍のスループット、10分の1のレイテンシとなっており、小規模なモデルの場合は、Inf1よりも優れた価格パフォーマンスで利用できます。
Amazon EC2のGPUインスタンスと比べてワットあたりの効率は最大50%優れたパフォーマンスとなっています。
AWS Neuron SDKを利用する事により、PyTorch, TensorFlow等のML Frameworkと連携して、数行のコードでInf2インスタンスにデプロイする事ができます。
まとめ
Inf2インスタンスの公開により、これまで以上に推論ワークロードにおいてパフォーマンスを出してなおかつコストを安価に運用出来るようになったのでは無いでしょうか。
AWS Neuron SDKを利用すると既存のML Frameworkを利用した実装を数行でInf2に持って行けるため、試してみる価値はあると思います。
本日からプレビュー申込み開始です。プレビューページ(Instance詳細ページ)からぜひ申し込みしてみてください。
現場からは以上です。
![[レポート]Apache Iceberg を使用してリアルタイムの洞察のためのオープンテーブルデータレイクを構築する #AWSreInvent](https://images.ctfassets.net/ct0aopd36mqt/3IQLlbdUkRvu7Q2LupRW2o/edff8982184ea7cc2d5efa2ddd2915f5/reinvent-2024-sessionreport-jp.jpg)
