Amazon Bedrock latency-optimized が新たに Agents, Flows, Knowledge Bases をサポートしました（パブリックプレビュー）

import boto3
import time
from uuid import uuid4
from pprint import pprint

session_id = str(uuid4())

bedrock_agent_runtime = boto3.client('bedrock-agent-runtime', region_name='us-west-2')

model_id = "us.anthropic.claude-3-5-haiku-20241022-v1:0"

inputText = """
x = 2*3
print(x)

日本語で、実行結果とともに処理内容を解説してください。
"""

> options = ['standard', 'optimized']
for option in options:
    start = time.time() 
    response = bedrock_agent_runtime.invoke_inline_agent(
        sessionId=session_id,
        inputText=inputText,
        endSession=False,
        enableTrace=True,
        foundationModel=model_id,
>        bedrockModelConfigurations={'performanceConfig': {'latency': option}},
        instruction="あなたは、ユーザの代わりにコードを実行するエージェントです。ユーザから入力されたコードをCodeInterpreterActionを使って実行します。",
        actionGroups=[
            {
                'actionGroupName': 'CodeInterpreterAction',
                'parentActionGroupSignature': 'AMAZON.CodeInterpreter'
            }
        ],
    )

    # レスポンスを格納する変数
    trace_data = None
    output_text = ""

    # イベントストリームを処理
    for event in response['completion']:
        if 'trace' in event:
            trace_data = event['trace']['trace']['orchestrationTrace']
        if 'chunk' in event:
            output_text += event['chunk']['bytes'].decode('utf-8')

    # 結果を表示
    print(option, time.time() - start)

standard 9.250740051269531
optimized 5.719379901885986