[アップデート] Amazon Bedrock エージェントでプロビジョンドスループットを使用出来るようになりました

いわさです。

先日ご紹介しましたが Amazon Bedrock にはプロビジョンドスループットというものを使い、通常のトークンベースではなく時間あたりの固定料金で、安定した高いスループットを提供することが出来ます。

プロビジョンドスループットの使い方

プロビジョンドスループットを購入すると次のようにプロビジョニングされたモデルの ARN を取得出来るようになります。(Anthropic Claude v2.1 の例)

% aws-v1 bedrock list-provisioned-model-throughputs --region us-east-1
{
    "provisionedModelSummaries": [
        {
            "provisionedModelName": "hogethru2",
            "provisionedModelArn": "arn:aws:bedrock:us-east-1:123456789012:provisioned-model/6w96yspvh8ey",
            "modelArn": "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-v2:1:18k",
            "desiredModelArn": "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-v2:1:18k",
            "foundationModelArn": "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-v2:1:18k",
            "modelUnits": 0,
            "desiredModelUnits": 1,
            "status": "Creating",
            "creationTime": "2024-05-03T21:47:23.801Z",
            "lastModifiedTime": "2024-05-03T21:47:29.807Z"
        }
    ]
}

プロビジョンドスループットを使うためには、上記 ARN をaws bedrock-runtime invoke-modelのmodel-idで指定して使います。

あるいは、プレイグラウンドであれば実行の際にスループットを指定することが出来ます。（購入済みの場合）

Agents for Amazon Bedrock でも使えるようになった

そして、Amazon Bedrock には「エージェント」という機能があり、つい先日東京リージョンでも使えるようになりました。

エージェントを構成する際には推論や回答を生成するためにモデルを選択します。
これまでは特にスループットの指定をすることが出来ず、オンデマンドのみとなっていました。
先日のアップデートで、エージェントのエイリアスに対してスループットを指定出来るようになりました。

通常エイリアスの構成画面はドラフトバージョンと呼ばれる作業用の特殊なバージョンとなっています。
エージェントをデプロイする際にはエイリアスを作成することでバージョンスナップショットを作成し、不変な運用環境を提供します。（AWS Lambda と同じ感じ）

アップデート前のエイリアス作成画面

アップデート後のエイリアス作成画面

アップデート後のエイリアス一覧画面

やってみたが...

早速プロビジョンドスループットを購入し Claude 2.1 で構成されたエージェントに対してエイリアスを作成してみました。

しかし、私が指定した際にはプロビジョンドスループットの選択肢に表示されませんでした。

次の公式ドキュメントによると、プロビジョンドスループットを購入していない場合はこのオプションは使用できず、購入済みであれば選択できるようです。それ以上の記述はありません。

高額なため何度も再トライが出来ずに実際の選択は断念してしまいましたが、AWS CLI のaws bedrock-agent create-agent-aliasでもプロビジョンドスループットの指定オプションが追加されています。

こちらを指定すると次のようにエイリアス一覧にも表示されましたが、CLI だと存在しない適当なプロビジョンドスループットオプション文字列が指定可能だったので、実際の表示は少し異なるかもしれませんので参考程度として頂けると。
なお、設定したプロビジョンドスループットをクリックすると、プロビジョンドスループットの管理画面へ遷移出来ます。

さいごに

本日は Amazon Bedrock エージェントでプロビジョンドスループットを使用出来るようになったので紹介しました。

実際に動作するところまでご紹介できず不完全燃焼な感じがしますが、東京リージョンでエージェントやナレッジベースもリリースされ本格的にエージェントの利用が増えてくるとプロビジョンドスループットを使いたいというシーンも出てくる可能性があるので、オプションとして知っておきましょう。

ただ、本日時点ではプロビジョンドスループットとエージェントのサポートリージョンが異なっているので、その点は気をつけましょう。