【現地セッションレポート】 Amazon SageMaker serverless inference (Preview) #AIM328 #reinvent

AWS re:Invent 2021

#セッションレポート

#Amazon SageMaker

#機械学習

#AI

#AWS

山本紘暉

2021.12.08

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

新規事業統括部の山本です。

AWS re:Invent 2021に参加し現地のセッションを受けてきたので、内容をレポートします。

今回は、キーノートで発表された新サービスの1つである、Amazon SageMasker serverless inferenceのbreakoutセッションです。

発表内容まとめ

内容をまとめると以下のようでした。

SageMakerのサーバレスな推論エンドポイントのタイプが追加された
他のサーバレスサービスと同様に、リクエストに応じた計算リソースが使用される
- 過剰なキャパシティのコストをなくし、キャパシティを管理する手間もなくなる

注意事項

2021/12/08現在、Serverless Inferenceの機能はプレビュー中です。

サーバーレス推論はAmazonSageMakerのプレビューリリースであり、変更される可能性があります。この機能を実稼働環境で使用することはお勧めしません。

https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html

概要

セッションカタログの内容は以下の通りです。

Title: Amazon SageMaker serverless inference (Preview)

Code: AIM328

Session type: Breakout Session

Topics: Artificial Intelligence and Machine Learning

Session level: 300 - Advanced

Many customers have ML applications with intermittent or unpredictable traffic patterns. Rather than provision for peak capacity up front, which can result in idle capacity or the need to build complex workflows to shut down idle instances, you can now use Amazon SageMaker serverless inference. Select serverless when deploying your ML model, and Amazon SageMaker automatically provisions, scales, and turns off compute capacity based on the volume of inference requests. With SageMaker serverless inference, you pay only for the compute capacity you use to process inference requests, billed by the millisecond and the amount of data processed. Join us to dive deep into this new feature, available in preview.