この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
AWS re:Invent 2018のKeynote featuring Andy Jassy, CEO, AWSで、Amazon Elastic Inferenceが発表されました!
Amazon Elastic Inference
ざっくり言うと、機械学習においては教師データのトレーニングと、トレーニングされた教師データに基づく推論の、2段階があります。
Amazon Elastic Inferenceは、推論のアクセラレーションのために必要なGPUをエラスティックに利用することが出来るサービスです。Amazon SageMakerのノートブックインスタンス及びエンドポイントと連携して利用することも出来ます。
Amazon Elastic Inferenceでは3つのインスタンスタイプを選ぶことができます。
- eia1.medium ... 8TeraFLOPs
- eia1.large ... 16TeraFLOPs
- eia1.xlarge ... 32TeraFLOPs
Amazon Elastic Inferenceは、TensorFlow、Apache MXNet、MXnet経由でのONNXという、一般的な機械学習フレームワークをサポートします。
リリース時点で対応しているリージョンは以下の通り。
- US East (N. Virginia and Ohio)
- US West (Oregon)
- EU (Ireland)
- Asia Pacific (Seoul and Tokyo)
使い方としては以下の通り、EC2インスタンスを起動する際に--elastic-inference-acceleratorで指定します。
aws ec2 run-instances --image-id $AMI_ID \
--key-name $KEYPAIR_NAME --security-group-ids $SG_ID \
--subnet-id $SUBNET_ID --instance-type c5.large \
--elastic-inference-accelerator Type=eia1.large
さいごに
推論のコスト最適化を図ることが出来るサービスがやってきましたね!