はじめに
明日開催のAWS re:Invent 2023。 直前にAmazon Bedrock用に最適化された2つの新しいAPIアクションがAWS Step Functionsに追加されました！
Build generative AI apps using AWS Step Functions and Amazon Bedrock | AWS News Blog
3行まとめ
- AWS Step FunctionsとAmazon Bedrockの最適化された統合されました
- これにより、生成AIアプリケーションの構築とAWSサービスとの統合が容易になります
- 新しいAPIアクションであるInvokeModelとCreateModelCustomizationJobを使用して、モデルの呼び出しとカスタマイズジョブの作成が可能です
何が嬉しいか
従来はAmazon BedrockのAPI呼び出しにAWS Lambda関数を呼び出していましたが、Step Functionsで新しいAPIを使用することでコードのメンテナンスやアプリケーションのコストを削減できます。
新しいAPIアクションの概要
InvokeModel API
このAPIを使用することで、パラメータで指定された入力を使用してモデルを呼び出し、推論を実行することができます。 テキスト、画像、埋め込みモデルの推論を実行するために使用することができ、より柔軟なジェネラティブAIアプリケーションの構築が可能となります。
また、InvokeModel APIはリクエストとレスポンスのサイズに制限がありますが、Step Functionsの状態ペイロードの入力と出力には256KBの制限があります。この制限を超えるペイロードをサポートするために、Amazon S3のバケットを定義して、APIがデータを読み取り結果を書き込む場所として使用することができます。
CreateModelCustomizationJob API
このAPIを使用することで、ベースモデルをカスタマイズするためのファインチューニングジョブを作成することができます。 つまり、ベースモデルのカスタマイズが容易になり、より高度なジェネラティブAIアプリケーションの開発が可能となります。
APIのパラメータで、ベースモデルとトレーニングデータの場所を指定します。ジョブが完了すると、カスタムモデルが作成され、使用可能になります。CreateModelCustomizationJobは非同期なAPIであり、この統合により、Step Functionsはジョブを実行し、次のステートに進む前にジョブの完了を待つことができます。つまり、ステートマシンの実行は、カスタムモデルの作成ジョブが実行中の間は一時停止し、タスクが完了すると自動的に再開されます。
やってみた
今回はInvokeModel APIを実際に試しみます。 リージョンは対応モデルが多いus-east-1を利用します。
AWS Step Functions ワークフロースタジオで空のワークフローを用意します。
左袖の検索ボックスでAmazon Bedrockを検索します。
InvokeModelをワークフローにドラッグアンドドロップします。
ワークフロー内のBedrock InvokeModelを選択すると、右袖でモデルやパラメータを選択できます。
モデルはAnthropicのClaude 2を利用します。
Bedrock モデルパラメータ > モデル推論パラメータを入力 で以下のようなパラメータを入力します。
{
"prompt": "\n\nHuman:気分はもうAWS re:Invent 2023です！\n\nAssistant:",
"max_tokens_to_sample": 200
}
今回は他はデフォルトのままで、画面右上の「作成」をクリックしてワークフローを作成します。
「ロールの作成を確認」の画面がでたら確認をクリックします。
ステートマシンが作成されました。
ステートマシンを実行します。
ステートマシンが成功して、結果が出力されました。
さいごに
今回のアップデートでAmazon BedrockのAPIをより簡単に利用できるようになりました。 今後のAmazon Bedrockと既存サービスとの連携も楽しみです！
3
