[アップデート] Amazon Bedrock Model Distillationがプレビューで発表されました！#AWSreInvent

データ事業本部 インテグレーション部 機械学習チームの鈴木です。

re:Invent2024のキーノートのうち、CEO Keynote with Matt Garmanで、Amazon Bedrock Model Distillationのプレビュー提供が発表されました！

以下のブログで紹介されています。

https://aws.amazon.com/jp/blogs/aws/build-faster-more-cost-efficient-highly-accurate-models-with-amazon-bedrock-model-distillation-preview/

Amazon Bedrock Model Distillationについて

教師モデルと呼ばれるより大規模な基盤モデルから生成した応答を使い、より小規模な基盤モデルをFine-Tuningすることで、特定のユースケース向けの蒸留モデルを作成する工程を自動化する機能になります。

ユーザーは蒸留により、教師モデルに近い精度で、より安く高速でコスト効率の高い基盤モデルを作成できます。これはビジネス的には、例えばより多くのユーザーからの問い合わせに対してより迅速に安く適切なレスポンスをLLMで返すことに繋がります。

プレビュー提供版では、Anthropic・Meta・Amazonモデルをサポートしているそうです。発表時点では米国東部(バージニア北部)および米国西部(オレゴン)で提供されています。

バージニア北部リージョンで、Foundation modelsのセクションにCustom modelsの画面がありますが、Distillationが追加されていました。

教師モデルおよび学生モデルをUIから設定できます。

蒸留入力データセットはS3のデータを指定して生成するか、モデル呼び出しログ記録をオンにしておくことで実稼働のデータを使用することもできるようです。

最後に

プレビュー提供で発表されましたAmazon Bedrock Model Distillationのご紹介でした。基盤モデルの蒸留に関心がある方はぜひ試して頂ければと思います！