
Amazon Bedrock AgentCore ObservabilityでClaudeからのツール呼び出しを追跡できるか検証してみた
はじめに
クラスメソッドテクノロジーズの武蔵です。
御堂筋のイルミネーションがライトアップされ始めました。
オフィスを出た際に毎日癒されています。
今回の検証
これまでの検証で、Amazon Bedrock AgentCore Gateway(以下、AgentCore Gateway)をある程度触れるようになってきました。仕事としても受けていきたいと考えたとき、ふと「監視はどうするんだろう」と思いました。
実際に使ってもらうとなると、誰がいつどのツールを呼んだのか、エラーは起きていないかを後から確認できる必要があります。
そこで今回は、Amazon Bedrock AgentCore Observability(以下、AgentCore Observability)を有効にし、AgentCore Gatewayの呼び出しをユーザーごとに追跡できるかを検証します。

目標
今回は、Claudeからツールを呼んだときに、次の3点を記録から確認できるかを検証します。
| # | 確認すること |
|---|---|
| 1 | どのツールを、どの引数で呼んだか |
| 2 | 誰が呼んだか |
| 3 | 認証に失敗した呼び出しが記録されるか |
確認する記録
AgentCore Gatewayの呼び出しは、次の3つに記録できます。
| 記録 | 出力先 | 設定 |
|---|---|---|
| ログ | Amazon CloudWatch Logs | AgentCore Gatewayでログ配信を追加する |
| トレース | Amazon CloudWatch(以下、CloudWatch) | AgentCore Gatewayでトレースを有効にする |
| データイベント | AWS CloudTrail(以下、CloudTrail) | 証跡でデータイベントを選ぶ |

ログとトレースは AgentCore Observability の機能です。
AWSの公式ドキュメントでは、AgentCore Gatewayのログとトレースにユーザーの情報が含まれるという記載は見つかりませんでした。
一方で、CloudTrail のデータイベントには、JWT の sub クレームが記録されると書かれています。
Amazon Bedrock AgentCore Gateway データイベントは、アイデンティティ情報の保存方法の標準 AWS データイベントとは異なります。Data API は MCP プロトコルに従い、SigV4 ではなく JSON Web Token (JWT) ベースの認証を使用するため、Amazon Bedrock AgentCore Gateway データイベントには標準の AWS ID 情報はありません。代わりに、「sub」クレームを含む特定の JWT クレームをログに記録することでアイデンティティがキャプチャされます。
そのため、今回は CloudTrail も合わせて確認します。
事前準備
検証用で使用している次のリソースを使います。
| リソース | 名前 |
|---|---|
| AgentCore Gateway | saito-sandbox-gw |
| ツールのLambda | saito-sandbox-company-faq |
| Amazon Cognito(以下、Cognito)のユーザープール | saito-sandbox-connector |
| カスタムコネクタ | saito-sandbox |
ログインするユーザーは、Googleアカウントからログインしたユーザー1人です。
記録を有効にする
AgentCore Gatewayのログ配信を追加する
AgentCore Gatewayは、ログの出力先が自動では作られないため、手動で追加します。
AgentCoreコンソールの「ゲートウェイ」→ saito-sandbox-gw を開くと、「ログの配信とトレース」が表示されます。
初期状態では、ログ配信は設定されておらず、トレースも有効になっていません。

「ログ配信」→「追加」から、Amazon CloudWatch Logs への配信を追加しました。
| 項目 | 設定値 |
|---|---|
| ログタイプ | APPLICATION_LOGS |
| 配信先ロググループ | 既定値のまま(/aws/vendedlogs/bedrock-agentcore/gateway/APPLICATION_LOGS/<ゲートウェイID>) |

配信を追加した後にツールを呼ぶと、配信先のロググループに BedrockAgentCoreGateway_ApplicationLogs というログストリームが作成されました。

AgentCore Gatewayのトレースを有効にする
トレースを有効にする前に、CloudWatch のトランザクション検索を有効にしておく必要があります。トランザクション検索はアカウント全体の設定のため、今回は検証用のアカウントで有効にしました。
CloudWatchコンソールの「Application Signals (APM)」→「トランザクション検索」を開き、スパンの検索画面が表示されることを確認しました。

AgentCore Gatewayに戻り、画面の「トレース」→「編集」で、「有効にする」をオンにして保存しました。
トレースは、既定でロググループ aws/spans に送られます。

CloudTrailの証跡を作成する
CloudTrail のデータイベントは既定では記録されないため、証跡を作成します。
CloudTrailコンソールのダッシュボードで「証跡の作成」を押します。

次の内容で作成しました。
| 項目 | 設定値 |
|---|---|
| 証跡名 | saito-sandbox-gw-trail |
| ストレージの場所 | 新しい S3 バケットを作成します |
| CloudWatch Logs | 有効(ロググループ saito-sandbox-gw-trail) |

※画像では証跡名の末尾に ` が入っていますが、入力ミスのため saito-sandbox-gw-trail に修正しています。

ログイベントの選択では、管理イベントのチェックを外し、データイベントだけを選びました。
| 項目 | 設定値 |
|---|---|
| イベントタイプ | データイベント |
| リソースタイプ | Bedrock-AgentCore Gateway |
| ログセレクターテンプレート | すべてのイベントをログに記録する |


私が作成したときは、作成直後の証跡のステータスがオフになっていました。証跡を開いて「ログ記録を開始」を押し、オンにしました。
オフの間の呼び出しは記録されないため、作成後にステータスを確認することをおすすめします。
CloudTrail のイベントタイプとは?
CloudTrailには4つのイベントタイプがあります。
設定の際にどれを選択するべきか迷ったのでここでまとめておきます。
| イベントタイプ | 記録するもの | AgentCore Gatewayでの例 |
|---|---|---|
| 管理イベント | リソースの作成・変更・削除 | ゲートウェイやターゲットの作成、設定の変更 |
| データイベント | リソースの中で行う操作 | Claudeからのツール呼び出し(InvokeGateway) |
| Insights イベント | API呼び出しの回数やエラー率が、普段と違う動き | 設定変更が急に増えた |
| ネットワークアクティビティイベント | VPCエンドポイントを通ったAPI呼び出し | 今回は対象外 |
管理イベントは「誰が設定を変えたか」、データイベントは「誰が使ったか」を記録するものと考えるとわかりやすいです。
今回確認したいのはツールの呼び出しのため、データイベントを選びました。
検証
Claudeから質問する
Googleアカウントでログインした状態で、カスタムコネクタを有効にしてClaudeに次の5つの質問をしました。
| # | 質問 |
|---|---|
| 1 | リフレッシュ休暇はいつもらえる? |
| 2 | 経費の申請期限は? |
| 3 | 在宅勤務の申請はいつまでにすればいい? |
| 4 | 書籍購入の補助はある? |
| 5 | 資格取得の支援はある? |
また、認証に失敗した呼び出しを記録するため、ターミナルからゲートウェイリソースURLにトークンなしと不正なトークンでリクエストを送りました。どちらも401が返りました。
GW_URL には、ゲートウェイリソースURLを入れます。
curl -s -o /dev/null -w '%{http_code}\n' -X POST "$GW_URL" \
-H 'Content-Type: application/json' \
-d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'
curl -s -o /dev/null -w '%{http_code}\n' -X POST "$GW_URL" \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer invalid-token' \
-d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'
AgentCore Gatewayのログで呼んだツールと引数を確認する
CloudWatch Logs Insights で、AgentCore Gatewayのロググループからツール呼び出し(tools/call)を検索しました。
fields @timestamp, body.requestBody, request_id, trace_id
| filter body.requestBody like /tools\/call/
| sort @timestamp desc

5つの質問それぞれで、ツール名 CompanyFaq___search_faq と、Claudeが質問から決めた引数(keyword や category)が記録されていました。
| # | 質問 | 記録された引数 |
|---|---|---|
| 1 | リフレッシュ休暇はいつもらえる? | category=休暇, keyword=リフレッシュ休暇 |
| 2 | 経費の申請期限は? | category=経費, keyword=申請期限 |
| 3 | 在宅勤務の申請はいつまでにすればいい? | category=働き方, keyword=在宅勤務 |
| 4 | 書籍購入の補助はある? | keyword=書籍 |
| 5 | 資格取得の支援はある? | keyword=資格 |
ツールの結果も、body.responseBody に記録されていました。
一方で、ログの中にユーザーを特定できる値はありませんでした。
AgentCore Gatewayのログ(質問1の抜粋)
1回の呼び出しで4件のログが出力され、引数は開始時のログ、結果は完了時のログに記録されていました。
{
"resource_arn": "arn:aws:bedrock-agentcore:ap-northeast-1:<アカウントID>:gateway/<ゲートウェイID>",
"body": {
"isError": false,
"log": "Started processing request",
"requestBody": "{id=791271376, jsonrpc=2.0, method=tools/call, params={name=CompanyFaq___search_faq, arguments={category=休暇, keyword=リフレッシュ休暇}}}",
"id": "791271376"
},
"request_id": "9194f7ab-c5ff-46ec-a567-f60d6763da06",
"trace_id": "6af857f67185b41e68ccebdd3d06ea0c",
"span_id": "bd323950a8e6720a"
}
{
"resource_arn": "arn:aws:bedrock-agentcore:ap-northeast-1:<アカウントID>:gateway/<ゲートウェイID>",
"body": {
"isError": false,
"responseBody": "{jsonrpc=2.0, id=791271376, result={isError=false, content=[{type=text, text={\"count\":1,\"items\":[{\"category\":\"休暇\",\"question\":\"リフレッシュ休暇はいつ取得できますか?\",\"answer\":\"勤続3年ごとに5日付与されます。付与日から1年以内に取得してください。\"}]}}]}}",
"log": "Successfully processed request",
"id": "791271376"
},
"request_id": "9194f7ab-c5ff-46ec-a567-f60d6763da06",
"trace_id": "6af857f67185b41e68ccebdd3d06ea0c"
}
認証に失敗した2回の呼び出しは、Missing Bearer token と Invalid Bearer token として記録されていました。

CloudTrailで誰が呼んだかを確認する
証跡を有効にした後に質問1をもう一度行い、証跡のロググループを検索しました。
fields @timestamp, additionalEventData.jwt.claims.sub, requestParameters.body.method, requestParameters.body.params.name, responseElements.statusCode, userAgent, requestID
| filter eventName = "InvokeGateway"
| sort @timestamp desc
additionalEventData.jwt.claims に、アクセストークンのクレームが記録されていました。
次の画像は、Claudeが接続時に送ったリクエスト(server/discover)のイベントです。
ツール呼び出しのイベントにも、同じ sub が記録されていました。

記録された sub は、Cognitoのユーザーの sub と一致しました。

CloudTrail のイベントに記録されていた主な値は、次のとおりです。
| 項目 | 値 |
|---|---|
userIdentity |
accountId が anonymous |
additionalEventData.jwt.claims.sub |
Cognitoのユーザーの sub |
requestParameters.body.params.name |
CompanyFaq___search_faq |
requestParameters.body.params.arguments |
REDACTED |
responseElements.body.result.content |
REDACTED |
userAgent |
Claude-User |
ユーザーは、additionalEventData.jwt.claims.sub で確認できました。一方で、ツールの引数と結果は REDACTED になっていました。
CloudTrailのイベント(抜粋)
{
"userIdentity": {
"type": "AWSAccount",
"principalId": "",
"accountId": "anonymous"
},
"eventName": "InvokeGateway",
"userAgent": "Claude-User",
"requestParameters": {
"body": {
"id": 791271376,
"jsonrpc": "2.0",
"method": "tools/call",
"params": {
"name": "CompanyFaq___search_faq",
"arguments": "REDACTED"
}
}
},
"responseElements": {
"body": {
"jsonrpc": "2.0",
"id": 791271376,
"result": {
"isError": false,
"content": "REDACTED"
}
},
"statusCode": 200
},
"additionalEventData": {
"jwt": {
"claims": {
"sub": "<Cognitoのユーザーのsub>",
"token_use": "access"
}
}
},
"requestID": "9194f7ab-c5ff-46ec-a567-f60d6763da06"
}
認証に失敗した呼び出しは、証跡のログ記録を開始する前に行ったため、CloudTrail に記録されるかは今回確認できていません。
ログとCloudTrailを突き合わせる
AgentCore Gatewayのログでは引数がわかり、CloudTrail ではユーザーがわかります。質問1について、2つの記録を比べました。
| 項目 | AgentCore Gatewayのログ | CloudTrail |
|---|---|---|
| リクエストID | request_id |
requestID |
| ユーザー | なし | additionalEventData.jwt.claims.sub |
| ツール名 | body.requestBody |
requestParameters.body.params.name |
| 引数 | body.requestBody |
REDACTED |
| トレースID | trace_id |
なし |
ログの request_id と CloudTrail の requestID は、どちらも 9194f7ab-c5ff-46ec-a567-f60d6763da06 で一致しました。
リクエストIDで突き合わせることで、誰が、どのツールを、どの引数で呼んだかを1つの呼び出しとして確認できました。

トレースで処理の流れを確認する
ログに記録された質問1の trace_id を、CloudWatchコンソールの「Application Signals (APM)」→「トレース」の検索欄に入力し、「トレースを表示」を押しました。

質問1のトレースの詳細が表示されました。

タイムラインでは、AgentCore Gatewayの中の処理ごとに時間が表示されました。

| スパン | 時間 | 内容 |
|---|---|---|
AgentCore.Gateway.InvokeTool |
465ms | 呼び出し全体 |
AgentCore.Gateway.InboundAuth |
39ms | インバウンド認証 |
AgentCore.Identity.Authorize |
27ms | トークンの検証 |
AgentCore.Gateway.EvaluateRoutingRules |
0μs | ルーティングの判定 |
AgentCore.Gateway.InvokeTool.CompanyFaq___search_faq |
352ms | ツールの呼び出し |
AgentCore.Gateway.TargetInvocation |
348ms | Lambdaの実行 |
全体の465msのうち、348msがLambdaの実行であることが確認できました。
画面には9つのスパンが表示され、表の6つ以外の3つは UnknownRemoteService でした。
処理時間は、それぞれ Authorize、InvokeTool.CompanyFaq___search_faq、TargetInvocation と同じでした。
AgentCore.Gateway.InvokeTool のスパンには、次の属性が記録されていました。
| 属性 | 値 |
|---|---|
tool.name |
CompanyFaq___search_faq |
http.response.status_code |
200 |
latency_ms |
420 |
execute_tool_latency_ms |
352 |
overhead_latency_ms |
68 |
aws.request.id |
9194f7ab-c5ff-46ec-a567-f60d6763da06 |
aws.request.id は、ログと CloudTrail のリクエストIDと一致しました。一方で、ユーザーを特定できる属性はありませんでした。
生成 AI オブザーバビリティで確認する
ここまではログとトレースを CloudWatch の検索画面で見てきました。
AgentCore Observability には、CloudWatchコンソールの「生成 AI オブザーバビリティ」→「Bedrock AgentCore」に専用の画面があります。
「すべての機能」→「ゲートウェイ」を開くと、AgentCore Gatewayの概要として、ゲートウェイ数・呼び出し・エラー率・スロットル率が表示されました。

期間を12時間にした状態で、呼び出しは30回、エラー率は20%でした。
この期間には、認証に失敗した2回の呼び出しのほか、Claudeの接続時に Unsupported protocol version で400になった呼び出しもログに記録されていました。
概要の数値からは、どの呼び出しがエラーだったかや、誰が呼んだかはわかりません。
ゲートウェイの一覧から saito-sandbox-gw を選び、質問1のトレースを開きました。

左側にスパンのツリーが表示され、右側の「すべてのイベント」には、AgentCore Gatewayのログがトレースにひも付いて表示されました。
ログを Logs Insights で検索しなくても、トレースの画面から同じ呼び出しのツール名と引数を確認できました。
トレースメトリクスでは、ゲートウェイのスパンは6、レイテンシーは465msでした。
この画面でも、ユーザーを特定できる値は表示されませんでした。
検証結果
| 確認すること | ログ | トレース | CloudTrail |
|---|---|---|---|
| どのツールを呼んだか | ○ | ○ | ○ |
| どの引数で呼んだか | ○ | × | ×(REDACTED) |
| 誰が呼んだか | × | × | ○(sub) |
| 認証に失敗した呼び出し | ○ | - | - |
| 処理ごとの時間 | × | ○ | × |
3つの記録は、リクエストIDで突き合わせられました。
生成 AI オブザーバビリティの画面では、ログとトレースをまとめて確認できましたが、ユーザーは表示されませんでした。
実運用での心掛け
ここまでの検証で、AgentCore Observability と CloudTrailを使用することで誰がどのように使用しているかをログを通じて確認できました。
できることはわかったものの、実運用では、とりあえずログを出し続ければいいというわけではないと思います。
コンサルティング部の神野さんが執筆した「Amazon Bedrock実践ガイド」にて以下のような記述があります。
運用中に何を見るべきかは、構成設計と同じくらい事前の整理が必要です。CloudWatch や AgentCore Observabilityにログを送信すること自体は難しくありませんが、それだけでは「あとで何かあったときに見直せばいい」というログの山ができるだけです。遅延、失敗、人による介入、コスト、品質低下の兆候を、どの単位(モデル別、エージェント別、相関ID別など)で観測するかを先に決めておきます。
ここまでの検証での設定自体は非常に簡単で、それよりも何を確認したいか、そのためにどの記録をどう見るかを明らかにすることが重要でした。
今回の検証では、リクエストIDが相関IDにあたり、ログとCloudTrailを結び付けられました。
実運用ではお客様の確認したい内容を細かくヒアリングした上で整理し、観測する単位を明らかにすることが重要だと感じました。
まとめ
AgentCore Gatewayのログとトレースでは、呼んだツールと引数、処理ごとの時間を確認できましたが、ユーザーを特定できる値は含まれていませんでした。
CloudTrail のデータイベントを有効にすると、アクセストークンの sub が記録され、リクエストIDでログと突き合わせることで、誰がどのツールをどの引数で呼んだかを確認できました。
今回はGoogleのユーザー1人での確認です。実運用では、複数ユーザーでの集計、sub から利用者を特定する手順、ログの保存期間や閲覧権限、CloudTrail のデータイベントの料金なども合わせて検討が必要です。










