[速報] Inferentia搭載！機械学習の推論むけインスタンス Inf1 が発表されました #reinvent

こんにちは、菊池です。

ただいま開催されている、re:Invent 2019のキーノートにて、新しいインスタンスタイプ、Inf1が発表されました！

• Amazon EC2 Inf1 Instances

Inf1インスタンスは、機械学習の推論を実行することに特化したインスタンスで、クラウド上でもっとも高速に推論が可能なサービスとのことです。機械学習サービスのコストのうち、一般に推論がしめる割合が非常に高いため、その課題に対応するためのインスタンスタイプとなるようです。

Inf1は、昨年のre:Inventで発表されたASIC、Inferentiaチップを搭載しているとのことです。

 

[新発表] AWS Inferentia:推論専用チップを開発しちゃいました #reinvent

特徴

• G4インスタンスと比較し
  • 超低遅延
  • 3倍の高スループット
  • 推論あたり40%の低コスト
• sub-millisecondで 最大2,000 TOPS
• TensorFlow/PyTorch/MXnetなどの機械学習フレームワークとの統合
• ECS/EKS/SageMakerでサポート予定

インスタンスタイプ

利用可能なインスタンスタイプは以下の通り。利用料は、バージニアリージョンにおけるLinuxのオンデマンド時間単価です。

インスタンスタイプ	vCPU	メモリ	ストレージ	ネットワーク	利用料
inf1.xlarge	4	8GiB	EBSのみ	低	$0.368
inf1.2xlarge	8	16GiB	EBSのみ	低	$0.584
inf1.6xlarge	24	48GiB	EBSのみ	最大5Gbps	$1.904
inf1.24xlarge	96	192GiB	EBSのみ	25Gbps	$7.615

利用可能リージョン

現時点では、バージニア（us-east-1）、オレゴン（us-west-2）の2つのリージョンで利用可能です。

すでに利用可能です

バージニアリージョンにて、すでに利用可能になっていることを確認しました！

最後に

機械学習サービスで高コストを占める、推論処理に特化したインスタンスです。ユースケースがハマれば、うまく使ってコストダウンとパフォーマンスの向上を実現できるかもしれません。