[速報] Inferentia搭載!機械学習の推論むけインスタンス Inf1 が発表されました #reinvent

2019.12.04

こんにちは、菊池です。

ただいま開催されている、re:Invent 2019のキーノートにて、新しいインスタンスタイプ、Inf1が発表されました!

Inf1インスタンスは、機械学習の推論を実行することに特化したインスタンスで、クラウド上でもっとも高速に推論が可能なサービスとのことです。機械学習サービスのコストのうち、一般に推論がしめる割合が非常に高いため、その課題に対応するためのインスタンスタイプとなるようです。

Inf1は、昨年のre:Inventで発表されたASIC、Inferentiaチップを搭載しているとのことです。

 

[新発表] AWS Inferentia:推論専用チップを開発しちゃいました #reinvent

特徴

  • G4インスタンスと比較し
    • 超低遅延
    • 3倍の高スループット
    • 推論あたり40%の低コスト
  • sub-millisecondで 最大2,000 TOPS
  • TensorFlow/PyTorch/MXnetなどの機械学習フレームワークとの統合
  • ECS/EKS/SageMakerでサポート予定

インスタンスタイプ

利用可能なインスタンスタイプは以下の通り。利用料は、バージニアリージョンにおけるLinuxのオンデマンド時間単価です。

インスタンスタイプ vCPU メモリ ストレージ ネットワーク 利用料
inf1.xlarge 4 8GiB EBSのみ $0.368
inf1.2xlarge 8 16GiB EBSのみ $0.584
inf1.6xlarge 24 48GiB EBSのみ 最大5Gbps $1.904
inf1.24xlarge 96 192GiB EBSのみ 25Gbps $7.615

利用可能リージョン

現時点では、バージニア(us-east-1)、オレゴン(us-west-2)の2つのリージョンで利用可能です。

すでに利用可能です

バージニアリージョンにて、すでに利用可能になっていることを確認しました!

最後に

機械学習サービスで高コストを占める、推論処理に特化したインスタンスです。ユースケースがハマれば、うまく使ってコストダウンとパフォーマンスの向上を実現できるかもしれません。