【速報】【新サービス】機械学習の推論をエラスティックに！Amazon Elastic Inferenceが発表されました！ #reinvent
はじめに
AWS re:Invent 2018のKeynote featuring Andy Jassy, CEO, AWSで、Amazon Elastic Inferenceが発表されました！
Amazon Elastic Inference
ざっくり言うと、機械学習においては教師データのトレーニングと、トレーニングされた教師データに基づく推論の、2段階があります。
Amazon Elastic Inferenceは、推論のアクセラレーションのために必要なGPUをエラスティックに利用することが出来るサービスです。Amazon SageMakerのノートブックインスタンス及びエンドポイントと連携して利用することも出来ます。
Amazon Elastic Inferenceでは3つのインスタンスタイプを選ぶことができます。
- eia1.medium ... 8TeraFLOPs
- eia1.large ... 16TeraFLOPs
- eia1.xlarge ... 32TeraFLOPs
Amazon Elastic Inferenceは、TensorFlow、Apache MXNet、MXnet経由でのONNXという、一般的な機械学習フレームワークをサポートします。
リリース時点で対応しているリージョンは以下の通り。
- US East (N. Virginia and Ohio)
- US West (Oregon)
- EU (Ireland)
- Asia Pacific (Seoul and Tokyo)
使い方としては以下の通り、EC2インスタンスを起動する際に--elastic-inference-acceleratorで指定します。
aws ec2 run-instances --image-id $AMI_ID \ --key-name $KEYPAIR_NAME --security-group-ids $SG_ID \ --subnet-id $SUBNET_ID --instance-type c5.large \ --elastic-inference-accelerator Type=eia1.large
さいごに
推論のコスト最適化を図ることが出来るサービスがやってきましたね！
