Amazon Bedrock AgentCore ObservabilityでClaudeからのツール呼び出しを追跡できるか検証してみた

Amazon Bedrock AgentCore ObservabilityでClaudeからのツール呼び出しを追跡できるか検証してみた

Amazon Bedrock AgentCore Observabilityを有効にして、ゲートウェイの呼び出しを追跡できるか検証しました。ログ・トレース・CloudTrailの3つの記録方法を比較し、リクエストIDで突き合わせることで「誰が、どのツールを、どの引数で呼んだか」を確認します。
2026.11.18

はじめに

クラスメソッドテクノロジーズの武蔵です。

御堂筋のイルミネーションがライトアップされ始めました。
オフィスを出た際に毎日癒されています。

今回の検証

これまでの検証で、Amazon Bedrock AgentCore Gateway(以下、AgentCore Gateway)をある程度触れるようになってきました。仕事としても受けていきたいと考えたとき、ふと「監視はどうするんだろう」と思いました。

実際に使ってもらうとなると、誰がいつどのツールを呼んだのか、エラーは起きていないかを後から確認できる必要があります。

そこで今回は、Amazon Bedrock AgentCore Observability(以下、AgentCore Observability)を有効にし、AgentCore Gatewayの呼び出しをユーザーごとに追跡できるかを検証します。

誰が呼んだかを後から確認したい

目標

今回は、Claudeからツールを呼んだときに、次の3点を記録から確認できるかを検証します。

# 確認すること
1 どのツールを、どの引数で呼んだか
2 誰が呼んだか
3 認証に失敗した呼び出しが記録されるか

確認する記録

AgentCore Gatewayの呼び出しは、次の3つに記録できます。

記録 出力先 設定
ログ Amazon CloudWatch Logs AgentCore Gatewayでログ配信を追加する
トレース Amazon CloudWatch(以下、CloudWatch) AgentCore Gatewayでトレースを有効にする
データイベント AWS CloudTrail(以下、CloudTrail) 証跡でデータイベントを選ぶ

AgentCoreGatewayの呼び出しが記録される場所

ログとトレースは AgentCore Observability の機能です。

AWSの公式ドキュメントでは、AgentCore Gatewayのログとトレースにユーザーの情報が含まれるという記載は見つかりませんでした。

一方で、CloudTrail のデータイベントには、JWT の sub クレームが記録されると書かれています。

Amazon Bedrock AgentCore Gateway データイベントは、アイデンティティ情報の保存方法の標準 AWS データイベントとは異なります。Data API は MCP プロトコルに従い、SigV4 ではなく JSON Web Token (JWT) ベースの認証を使用するため、Amazon Bedrock AgentCore Gateway データイベントには標準の AWS ID 情報はありません。代わりに、「sub」クレームを含む特定の JWT クレームをログに記録することでアイデンティティがキャプチャされます。

https://docs.aws.amazon.com/ja_jp/bedrock-agentcore/latest/devguide/gateway-event-types.html

そのため、今回は CloudTrail も合わせて確認します。

事前準備

検証用で使用している次のリソースを使います。

リソース 名前
AgentCore Gateway saito-sandbox-gw
ツールのLambda saito-sandbox-company-faq
Amazon Cognito(以下、Cognito)のユーザープール saito-sandbox-connector
カスタムコネクタ saito-sandbox

ログインするユーザーは、Googleアカウントからログインしたユーザー1人です。

記録を有効にする

AgentCore Gatewayのログ配信を追加する

AgentCore Gatewayは、ログの出力先が自動では作られないため、手動で追加します。

AgentCoreコンソールの「ゲートウェイ」→ saito-sandbox-gw を開くと、「ログの配信とトレース」が表示されます。

初期状態では、ログ配信は設定されておらず、トレースも有効になっていません。

ゲートウェイのログの配信とトレース

「ログ配信」→「追加」から、Amazon CloudWatch Logs への配信を追加しました。

項目 設定値
ログタイプ APPLICATION_LOGS
配信先ロググループ 既定値のまま(/aws/vendedlogs/bedrock-agentcore/gateway/APPLICATION_LOGS/<ゲートウェイID>)

ゲートウェイのログ配信の追加

配信を追加した後にツールを呼ぶと、配信先のロググループに BedrockAgentCoreGateway_ApplicationLogs というログストリームが作成されました。

ゲートウェイのロググループのログストリーム

AgentCore Gatewayのトレースを有効にする

トレースを有効にする前に、CloudWatch のトランザクション検索を有効にしておく必要があります。トランザクション検索はアカウント全体の設定のため、今回は検証用のアカウントで有効にしました。

CloudWatchコンソールの「Application Signals (APM)」→「トランザクション検索」を開き、スパンの検索画面が表示されることを確認しました。

トランザクション検索のスパン

AgentCore Gatewayに戻り、画面の「トレース」→「編集」で、「有効にする」をオンにして保存しました。

トレースは、既定でロググループ aws/spans に送られます。

ゲートウェイのトレースの有効化

CloudTrailの証跡を作成する

CloudTrail のデータイベントは既定では記録されないため、証跡を作成します。

CloudTrailコンソールのダッシュボードで「証跡の作成」を押します。

CloudTrailのダッシュボード

次の内容で作成しました。

項目 設定値
証跡名 saito-sandbox-gw-trail
ストレージの場所 新しい S3 バケットを作成します
CloudWatch Logs 有効(ロググループ saito-sandbox-gw-trail)

証跡の属性

※画像では証跡名の末尾に ` が入っていますが、入力ミスのため saito-sandbox-gw-trail に修正しています。

証跡のCloudWatchLogsの設定

ログイベントの選択では、管理イベントのチェックを外し、データイベントだけを選びました。

項目 設定値
イベントタイプ データイベント
リソースタイプ Bedrock-AgentCore Gateway
ログセレクターテンプレート すべてのイベントをログに記録する

証跡のイベントタイプの選択

証跡のデータイベントの設定

私が作成したときは、作成直後の証跡のステータスがオフになっていました。証跡を開いて「ログ記録を開始」を押し、オンにしました。

オフの間の呼び出しは記録されないため、作成後にステータスを確認することをおすすめします。

CloudTrail のイベントタイプとは?

CloudTrailには4つのイベントタイプがあります。

設定の際にどれを選択するべきか迷ったのでここでまとめておきます。

イベントタイプ 記録するもの AgentCore Gatewayでの例
管理イベント リソースの作成・変更・削除 ゲートウェイやターゲットの作成、設定の変更
データイベント リソースの中で行う操作 Claudeからのツール呼び出し(InvokeGateway)
Insights イベント API呼び出しの回数やエラー率が、普段と違う動き 設定変更が急に増えた
ネットワークアクティビティイベント VPCエンドポイントを通ったAPI呼び出し 今回は対象外

管理イベントは「誰が設定を変えたか」、データイベントは「誰が使ったか」を記録するものと考えるとわかりやすいです。

今回確認したいのはツールの呼び出しのため、データイベントを選びました。

https://docs.aws.amazon.com/awscloudtrail/latest/userguide/logging-data-events-with-cloudtrail.html

検証

Claudeから質問する

Googleアカウントでログインした状態で、カスタムコネクタを有効にしてClaudeに次の5つの質問をしました。

# 質問
1 リフレッシュ休暇はいつもらえる?
2 経費の申請期限は?
3 在宅勤務の申請はいつまでにすればいい?
4 書籍購入の補助はある?
5 資格取得の支援はある?

また、認証に失敗した呼び出しを記録するため、ターミナルからゲートウェイリソースURLにトークンなしと不正なトークンでリクエストを送りました。どちらも401が返りました。

GW_URL には、ゲートウェイリソースURLを入れます。

curl -s -o /dev/null -w '%{http_code}\n' -X POST "$GW_URL" \
  -H 'Content-Type: application/json' \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

curl -s -o /dev/null -w '%{http_code}\n' -X POST "$GW_URL" \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer invalid-token' \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

AgentCore Gatewayのログで呼んだツールと引数を確認する

CloudWatch Logs Insights で、AgentCore Gatewayのロググループからツール呼び出し(tools/call)を検索しました。

fields @timestamp, body.requestBody, request_id, trace_id
| filter body.requestBody like /tools\/call/
| sort @timestamp desc

ツール呼び出しのログ

5つの質問それぞれで、ツール名 CompanyFaq___search_faq と、Claudeが質問から決めた引数(keyword や category)が記録されていました。

# 質問 記録された引数
1 リフレッシュ休暇はいつもらえる? category=休暇, keyword=リフレッシュ休暇
2 経費の申請期限は? category=経費, keyword=申請期限
3 在宅勤務の申請はいつまでにすればいい? category=働き方, keyword=在宅勤務
4 書籍購入の補助はある? keyword=書籍
5 資格取得の支援はある? keyword=資格

ツールの結果も、body.responseBody に記録されていました。

一方で、ログの中にユーザーを特定できる値はありませんでした。

AgentCore Gatewayのログ(質問1の抜粋)

1回の呼び出しで4件のログが出力され、引数は開始時のログ、結果は完了時のログに記録されていました。

{
  "resource_arn": "arn:aws:bedrock-agentcore:ap-northeast-1:<アカウントID>:gateway/<ゲートウェイID>",
  "body": {
    "isError": false,
    "log": "Started processing request",
    "requestBody": "{id=791271376, jsonrpc=2.0, method=tools/call, params={name=CompanyFaq___search_faq, arguments={category=休暇, keyword=リフレッシュ休暇}}}",
    "id": "791271376"
  },
  "request_id": "9194f7ab-c5ff-46ec-a567-f60d6763da06",
  "trace_id": "6af857f67185b41e68ccebdd3d06ea0c",
  "span_id": "bd323950a8e6720a"
}
{
  "resource_arn": "arn:aws:bedrock-agentcore:ap-northeast-1:<アカウントID>:gateway/<ゲートウェイID>",
  "body": {
    "isError": false,
    "responseBody": "{jsonrpc=2.0, id=791271376, result={isError=false, content=[{type=text, text={\"count\":1,\"items\":[{\"category\":\"休暇\",\"question\":\"リフレッシュ休暇はいつ取得できますか?\",\"answer\":\"勤続3年ごとに5日付与されます。付与日から1年以内に取得してください。\"}]}}]}}",
    "log": "Successfully processed request",
    "id": "791271376"
  },
  "request_id": "9194f7ab-c5ff-46ec-a567-f60d6763da06",
  "trace_id": "6af857f67185b41e68ccebdd3d06ea0c"
}

認証に失敗した2回の呼び出しは、Missing Bearer token と Invalid Bearer token として記録されていました。

認証に失敗した呼び出しのログ

CloudTrailで誰が呼んだかを確認する

証跡を有効にした後に質問1をもう一度行い、証跡のロググループを検索しました。

fields @timestamp, additionalEventData.jwt.claims.sub, requestParameters.body.method, requestParameters.body.params.name, responseElements.statusCode, userAgent, requestID
| filter eventName = "InvokeGateway"
| sort @timestamp desc

additionalEventData.jwt.claims に、アクセストークンのクレームが記録されていました。

次の画像は、Claudeが接続時に送ったリクエスト(server/discover)のイベントです。

ツール呼び出しのイベントにも、同じ sub が記録されていました。

CloudTrailに記録されたJWTのクレーム

記録された sub は、Cognitoのユーザーの sub と一致しました。

Cognitoのユーザーのsub

CloudTrail のイベントに記録されていた主な値は、次のとおりです。

項目 値
userIdentity accountId が anonymous
additionalEventData.jwt.claims.sub Cognitoのユーザーの sub
requestParameters.body.params.name CompanyFaq___search_faq
requestParameters.body.params.arguments REDACTED
responseElements.body.result.content REDACTED
userAgent Claude-User

ユーザーは、additionalEventData.jwt.claims.sub で確認できました。一方で、ツールの引数と結果は REDACTED になっていました。

CloudTrailのイベント(抜粋)
{
  "userIdentity": {
    "type": "AWSAccount",
    "principalId": "",
    "accountId": "anonymous"
  },
  "eventName": "InvokeGateway",
  "userAgent": "Claude-User",
  "requestParameters": {
    "body": {
      "id": 791271376,
      "jsonrpc": "2.0",
      "method": "tools/call",
      "params": {
        "name": "CompanyFaq___search_faq",
        "arguments": "REDACTED"
      }
    }
  },
  "responseElements": {
    "body": {
      "jsonrpc": "2.0",
      "id": 791271376,
      "result": {
        "isError": false,
        "content": "REDACTED"
      }
    },
    "statusCode": 200
  },
  "additionalEventData": {
    "jwt": {
      "claims": {
        "sub": "<Cognitoのユーザーのsub>",
        "token_use": "access"
      }
    }
  },
  "requestID": "9194f7ab-c5ff-46ec-a567-f60d6763da06"
}

認証に失敗した呼び出しは、証跡のログ記録を開始する前に行ったため、CloudTrail に記録されるかは今回確認できていません。

ログとCloudTrailを突き合わせる

AgentCore Gatewayのログでは引数がわかり、CloudTrail ではユーザーがわかります。質問1について、2つの記録を比べました。

項目 AgentCore Gatewayのログ CloudTrail
リクエストID request_id requestID
ユーザー なし additionalEventData.jwt.claims.sub
ツール名 body.requestBody requestParameters.body.params.name
引数 body.requestBody REDACTED
トレースID trace_id なし

ログの request_id と CloudTrail の requestID は、どちらも 9194f7ab-c5ff-46ec-a567-f60d6763da06 で一致しました。

リクエストIDで突き合わせることで、誰が、どのツールを、どの引数で呼んだかを1つの呼び出しとして確認できました。

リクエストIDで記録を突き合わせる

トレースで処理の流れを確認する

ログに記録された質問1の trace_id を、CloudWatchコンソールの「Application Signals (APM)」→「トレース」の検索欄に入力し、「トレースを表示」を押しました。

トレースIDで検索

質問1のトレースの詳細が表示されました。

トレースの詳細

タイムラインでは、AgentCore Gatewayの中の処理ごとに時間が表示されました。

スパンのタイムライン

スパン 時間 内容
AgentCore.Gateway.InvokeTool 465ms 呼び出し全体
AgentCore.Gateway.InboundAuth 39ms インバウンド認証
AgentCore.Identity.Authorize 27ms トークンの検証
AgentCore.Gateway.EvaluateRoutingRules 0μs ルーティングの判定
AgentCore.Gateway.InvokeTool.CompanyFaq___search_faq 352ms ツールの呼び出し
AgentCore.Gateway.TargetInvocation 348ms Lambdaの実行

全体の465msのうち、348msがLambdaの実行であることが確認できました。

画面には9つのスパンが表示され、表の6つ以外の3つは UnknownRemoteService でした。

処理時間は、それぞれ Authorize、InvokeTool.CompanyFaq___search_faq、TargetInvocation と同じでした。

AgentCore.Gateway.InvokeTool のスパンには、次の属性が記録されていました。

属性 値
tool.name CompanyFaq___search_faq
http.response.status_code 200
latency_ms 420
execute_tool_latency_ms 352
overhead_latency_ms 68
aws.request.id 9194f7ab-c5ff-46ec-a567-f60d6763da06

aws.request.id は、ログと CloudTrail のリクエストIDと一致しました。一方で、ユーザーを特定できる属性はありませんでした。

生成 AI オブザーバビリティで確認する

ここまではログとトレースを CloudWatch の検索画面で見てきました。

AgentCore Observability には、CloudWatchコンソールの「生成 AI オブザーバビリティ」→「Bedrock AgentCore」に専用の画面があります。

「すべての機能」→「ゲートウェイ」を開くと、AgentCore Gatewayの概要として、ゲートウェイ数・呼び出し・エラー率・スロットル率が表示されました。

生成AIオブザーバビリティのゲートウェイの概要

期間を12時間にした状態で、呼び出しは30回、エラー率は20%でした。

この期間には、認証に失敗した2回の呼び出しのほか、Claudeの接続時に Unsupported protocol version で400になった呼び出しもログに記録されていました。

概要の数値からは、どの呼び出しがエラーだったかや、誰が呼んだかはわかりません。

ゲートウェイの一覧から saito-sandbox-gw を選び、質問1のトレースを開きました。

生成AIオブザーバビリティのトレース

左側にスパンのツリーが表示され、右側の「すべてのイベント」には、AgentCore Gatewayのログがトレースにひも付いて表示されました。

ログを Logs Insights で検索しなくても、トレースの画面から同じ呼び出しのツール名と引数を確認できました。

トレースメトリクスでは、ゲートウェイのスパンは6、レイテンシーは465msでした。

この画面でも、ユーザーを特定できる値は表示されませんでした。

検証結果

確認すること ログ トレース CloudTrail
どのツールを呼んだか ○ ○ ○
どの引数で呼んだか ○ × ×(REDACTED)
誰が呼んだか × × ○(sub)
認証に失敗した呼び出し ○ - -
処理ごとの時間 × ○ ×

3つの記録は、リクエストIDで突き合わせられました。
生成 AI オブザーバビリティの画面では、ログとトレースをまとめて確認できましたが、ユーザーは表示されませんでした。

実運用での心掛け

ここまでの検証で、AgentCore Observability と CloudTrailを使用することで誰がどのように使用しているかをログを通じて確認できました。
できることはわかったものの、実運用では、とりあえずログを出し続ければいいというわけではないと思います。

コンサルティング部の神野さんが執筆した「Amazon Bedrock実践ガイド」にて以下のような記述があります。

運用中に何を見るべきかは、構成設計と同じくらい事前の整理が必要です。CloudWatch や AgentCore Observabilityにログを送信すること自体は難しくありませんが、それだけでは「あとで何かあったときに見直せばいい」というログの山ができるだけです。遅延、失敗、人による介入、コスト、品質低下の兆候を、どの単位(モデル別、エージェント別、相関ID別など)で観測するかを先に決めておきます。

ここまでの検証での設定自体は非常に簡単で、それよりも何を確認したいか、そのためにどの記録をどう見るかを明らかにすることが重要でした。

今回の検証では、リクエストIDが相関IDにあたり、ログとCloudTrailを結び付けられました。

実運用ではお客様の確認したい内容を細かくヒアリングした上で整理し、観測する単位を明らかにすることが重要だと感じました。

まとめ

AgentCore Gatewayのログとトレースでは、呼んだツールと引数、処理ごとの時間を確認できましたが、ユーザーを特定できる値は含まれていませんでした。

CloudTrail のデータイベントを有効にすると、アクセストークンの sub が記録され、リクエストIDでログと突き合わせることで、誰がどのツールをどの引数で呼んだかを確認できました。

今回はGoogleのユーザー1人での確認です。実運用では、複数ユーザーでの集計、sub から利用者を特定する手順、ログの保存期間や閲覧権限、CloudTrail のデータイベントの料金なども合わせて検討が必要です。

参考


Claudeならクラスメソッドにお任せください

クラスメソッドは、Anthropic社とリセラー契約を締結しています。各種製品ガイドから、業種別の活用法、フェーズごとのお悩み解決などサービス支援ページにまとめております。まずはご覧いただき、お気軽にご相談ください。

サービス詳細を見る

この記事をシェアする

AWSのお困り事はクラスメソッドへ

関連記事