Amazon Connect AIエージェントの会話中の推論や応答、レイテンシーなどのトレース詳細を確認できるようになりました
はじめに
Amazon Connect AIエージェントにおいて、セルフサービス音声インタラクションのトレース詳細を確認できるようになりました。
今回のアップデートにより、Amazon Connect の連絡先の詳細ページから、AIエージェントが顧客との会話中にどのように推論し、どのプロンプトを実行し、どのツールを呼び出したのかを確認できます。
Amazon Connect Customer now provides AI agent traces for self-service voice interactions, enabling you to understand how AI agents reason, act, and respond during each customer conversation.
Amazon Connect Customer は、セルフサービス音声インタラクション向けに AIエージェントトレースを提供するようになりました。これにより、各顧客会話で AIエージェントがどのように推論し、動作し、応答したかを把握できます。
https://aws.amazon.com/jp/about-aws/whats-new/2026/06/amazon-connect-ai-agent-traces/
本記事では、Amazon Connect AIエージェントのトレース詳細を有効化し、実際にセルフサービス音声で確認できる内容を紹介します。
事前設定
AIエージェントのトレース詳細を確認するには、Amazon Connect インスタンス側の設定と、フロー側の会話分析設定が必要です。
ドキュメントでは、AIエージェントトレース詳細を有効にする手順として、通話記録用の S3 バケット、自動インタラクションログ、ボット分析とトランスクリプトの設定が説明されています。
ボット分析とトランスクリプトを有効にする
Amazon Connect 管理画面の [フロー] で、[Amazon Connect でボット分析とトランスクリプトを有効にする] を有効化します。
In the navigation pane, choose Flows.
Under the Amazon Lex Bots section, select Enable Bot Analytics and Transcripts in Amazon Connect. Choose this option to log a full transcript of the Amazon Lex portion of the customer's experience. The transcript and traces is then available for you to read on the Contact details page.
ナビゲーションペインで [Flows] を選択します。
[Amazon Lex Bots] セクションで [Enable Bot Analytics and Transcripts in Amazon Connect] を選択します。このオプションにより、顧客体験の Amazon Lex 部分の完全なトランスクリプトを記録し、連絡先の詳細ページでトランスクリプトとトレースを確認できます。
https://docs.aws.amazon.com/connect/latest/adminguide/ai-agent-traces.html
この設定を有効化すると、ボット分析とトランスクリプトが機能するように、Amazon Connect が Connect のサービスリンクロールに必要なポリシーを追加します。
[Amazon Connect でボット分析とトランスクリプトを有効にする] を有効化する画面
注意点として、ドキュメントでは、2026年6月5日より前に Bot Analytics and Transcripts in Amazon Connect を有効化していた場合、一度無効化してから再度有効化する必要があると説明されています。
If you previously enabled Bot Analytics and Transcripts in Amazon Connect (prior to June 5, 2026), you must disable and re-enable this setting to activate the AI agent traces feature.
2026年6月5日より前に Bot Analytics and Transcripts in Amazon Connect を有効化していた場合、AIエージェントトレース機能を有効にするには、この設定を一度無効化して再度有効化する必要があります。
https://docs.aws.amazon.com/connect/latest/adminguide/ai-agent-traces.html
既存環境で以前からボット分析とトランスクリプトを利用している場合は、この点に注意が必要です。
自動インタラクションログを有効にする
次に、[自動インタラクションログの有効化] を有効にします。
ドキュメントでは、この設定により、連絡先の詳細ページで Flow details、Lex bot、AI agent traces を表示できると説明されています。
Under the Automated interaction logs section, select Enable Automated Interaction Logs. This enables you to view Flow details, Lex bot, and AI agent traces on the Contact details page.
[Automated interaction logs] セクションで [Enable Automated Interaction Logs] を選択します。これにより、連絡先の詳細ページでフロー詳細、Lex ボット、AIエージェントトレースを確認できます。
https://docs.aws.amazon.com/connect/latest/adminguide/ai-agent-traces.html
[自動インタラクションログの有効化] を有効にする画面
検証したフロー
今回の検証では、オーケストレーションタイプの Amazon Connect AIエージェントをセルフサービス音声で呼び出すフローを利用しました。
フローでは、会話分析を有効化し、音声側で AutomatedInteraction を含む分析設定を行っています。また、Lex ボット経由で Amazon Connect AIエージェントを呼び出す構成にしています。
セルフサービス音声で Amazon Connect AIエージェントを呼び出す検証用フロー
今回のフローでは、問い合わせ内容を Lex で受け取り、AIエージェントが製品番号の保存や製品ナレッジの検索を行います。AIエージェントの処理結果に応じて、完了またはエスカレーションに分岐する構成です。
動作確認
実際に電話で問い合わせを行い、連絡先の詳細ページを確認しました。
今回の問い合わせでは、顧客が製品番号を伝えたうえで、Wi-Fi が使えるかを確認しています。AIエージェントは製品番号をツールで保存し、その後、製品ナレッジを検索する動きを確認できました。最後はエスカレーション判定させています。
AIエージェントパフォーマンスメトリクス
連絡先の詳細ページでは、AIエージェントパフォーマンスメトリクスを確認できました。
ドキュメントでは、このメトリクスセットは 24 時間後に利用可能になると説明されています。
This set of metrics becomes available after 24 hours and is included as part of the Connect Customer AI.
このメトリクスセットは 24 時間後に利用可能になり、Connect Customer AI の一部として含まれます。
https://docs.aws.amazon.com/connect/latest/adminguide/ai-agent-traces.html
今回の検証では、約2時間後にメトリクスを確認できました。ただし、これは今回の環境で確認できた結果であり、常に2時間程度で表示されることを示すものではありません。ドキュメント上の案内としては、24時間後に利用可能になる点を前提にしておくのがよさそうです。
今回確認できたメトリクスは以下です。
| メトリクス | 値 |
|---|---|
| 完成度スコア | 0.0 |
| 忠実性スコア | 1.0 |
| 目標成功率 | 1.0 |
| ツール使用の精度 | 1.0 |
連絡先の詳細ページで確認できた AIエージェントパフォーマンスメトリクス
完成度スコア、忠実性スコア、目標成功率、ツール使用の精度の定義は、AIエージェントトレース詳細のドキュメントに記載されています。
- 完成度スコア：顧客リクエストのすべての部分に対して、AIエージェントの応答が完全に対応しているか
- 忠実性スコア：応答が会話コンテキストやツール呼び出し結果に忠実か
- 目標成功率：AIエージェントが顧客課題を正常に解決できたか
- ツール使用の精度：ツール選択やパラメータを含め、ツールを正しく利用できたか
今回の会話では、最終的にオペレーターへエスカレーションさせています。AIエージェント自身が顧客リクエストのすべてに回答しきったわけではないため、完成度スコアが 0.0 になった可能性があります。
一方で、忠実性スコア、目標成功率、ツール使用の精度は 1.0 でした。今回の検証では、製品番号を保存し、必要なタイミングでナレッジ検索を行い、最終的にエスカレーションする流れは意図どおりでした。
ただし、各スコアの内部判定ロジックまでは公開ドキュメントからは確認できませんでした。運用では、スコアだけで判断するのではなく、後述するトレース詳細とあわせて確認するのがよさそうです。
AIエージェントのトレース詳細
連絡先の詳細ページの [自動インタラクション] タブで、[フローとトレースの詳細を表示] をクリックすると、フロー、Lex ボット、AIエージェントの詳細を表示できます。
ドキュメントでは、通話終了後に自動インタラクションログが利用可能になり、トグルが有効になるまで最大30分かかる場合があると説明されています。
On the Contact details page, under the Automated Interaction tab, toggle Show flow & trace details to show or hide automated interaction details for Flows, Lex bots, and AI agents.
Please allow up to 30 minutes after a contact terminates for the Automated Interaction Log to become available, and the toggle to be activated.
連絡先の詳細ページの [Automated Interaction] タブで [Show flow & trace details] を切り替えると、フロー、Lex ボット、AIエージェントの自動インタラクション詳細を表示または非表示にできます。
コンタクト終了後、自動インタラクションログが利用可能になり、トグルが有効になるまで最大30分かかる場合があります。
https://docs.aws.amazon.com/connect/latest/adminguide/ai-agent-traces.html
[フローとトレースの詳細を表示] を有効にする画面
トレース詳細を表示すると、左側にフロー、Lex、AIエージェント、プロンプト、ツールの階層が表示されます。右側には、該当ターンの会話内容や、選択したスパンの概要または詳細が表示されます。
下記の画面は、AIエージェント呼び出し全体のスパン概要を確認できる画面です。
AIエージェント呼び出し全体のスパン概要を確認できる画面
この画面では、AIエージェント呼び出し全体のスパン概要を確認できます。左側の階層では、ターンごとに AIエージェント、プロンプト、ツールがどの順序で実行されたかを追えます。
今回の例では、AIエージェントの呼び出しの中で、プロンプトが実行され、その後に SetProductNumber ツールが呼び出され、さらに後続のプロンプトが実行されています。AIエージェントが 1 回の応答を返すまでに、複数のプロンプトやツール呼び出しを組み合わせて処理していることが分かります。
下記の画面は、プロンプトのスパン概要で、SetProductNumber 実行時のモデルやトークン数、ステータスを確認できる画面です。
プロンプトのスパン概要で、SetProductNumber 実行時のモデルやトークン数、ステータスを確認できる画面
この画面では、プロンプト実行時のスパン概要を確認できます。プロバイダー、リクエストモデル、プロンプト ID、最初のトークンまでの時間、入力トークン、出力トークン、トークン合計、ステータスなどを確認できます。
プロンプトがどのモデルで実行されたか、どれくらいのトークンを使用したか、ステータスが正常だったかを確認できるため、AIエージェントの応答が遅い場合の切り分けにも利用できます。
下記の画面は、プロンプトのスパン詳細で、SetProductNumber ツールに渡すパラメータと AIエージェントの推論を確認できる画面です。
プロンプトのスパン詳細で SetProductNumber ツールに渡すパラメータと AIエージェントの推論を確認できる画面
この画面では、顧客が伝えた製品番号 105 を保存するために、AIエージェントが SetProductNumber ツールを使用しようとしていることを確認できます。
また、product_number に 105 を指定する判断も確認できます。最終応答だけでは分かりにくい、ツール選択やパラメータ指定の判断過程を追える点が便利です。
下記の画面は、SetProductNumber ツール実行時のスパン詳細で、ツールに渡された入力パラメータを確認できる画面です。
SetProductNumber ツール実行時のスパン詳細で入力パラメータを確認できる画面
この画面では、SetProductNumber ツール呼び出し時に渡された入力パラメータを確認できます。今回の例では、顧客が伝えた製品番号 105 が、ツールの入力値として渡されていることを確認できます。
AIエージェントが正しいツールを選択したかだけでなく、ツールに渡したパラメータが期待どおりかを確認できるため、ツール呼び出しを伴う AIエージェントの調査に役立ちます。
下記の画面は、プロンプトのスパン詳細で、SetProductNumber ツールの実行結果をもとにした推論を確認できる画面です。
プロンプトのスパン詳細で SetProductNumber ツールの実行結果をもとにした推論を確認できる画面
この画面では、SetProductNumber ツールの実行結果をもとに、AIエージェントが後続処理を判断していることを確認できます。
具体的には、製品番号 105 を保存できたこと、success が true であること、should_retrieve が true であること、product_number が 105 で空ではないことを踏まえて、次の顧客発話で製品に関する質問があれば製品ナレッジを検索する、という推論が表示されています。
これにより、AIエージェントがツールを呼び出して終わりではなく、ツールの実行結果をもとに次の処理を判断していることを確認できます。
これらの画面を組み合わせることで、AIエージェントがどのタイミングでプロンプトを実行し、どのツールを呼び出し、どのパラメータを渡し、その結果をもとにどのように後続処理を判断したのかを追跡できます。
ツール呼び出しを伴う AIエージェントでは、最終応答だけではなく、ツール選択、パラメータ指定、ツール実行結果、その後の推論まで確認できる点が特に有用だと感じました。
レイテンシーを見るときの注意点
トレース画面では、AIエージェント、プロンプト、ツールごとにレイテンシーが表示されます。
ドキュメントでも、各スパンの右側にレイテンシーが表示されると説明されています。
Latency for each span is displayed on the right to each activity.
各スパンのレイテンシーは、各アクティビティの右側に表示されます。
https://docs.aws.amazon.com/connect/latest/adminguide/ai-agent-traces.html
今回の画面では、あるターンで以下のような値を確認しました。
AIエージェント、プロンプト、ツールのレイテンシーを確認できる画面
| 対象 | レイテンシー |
|---|---|
| AIエージェント | 7.09s |
| プロンプト | 3.19s |
| ツール | 1.38s |
| プロンプト | 2.10s |
プロンプトとツールの合計は 3.19 + 1.38 + 2.10 = 6.67s ですが、AIエージェント全体は 7.09s でした。
この差分は、AIエージェント呼び出し全体の中に、プロンプトやツールの個別スパンとして表示されない処理が含まれるためと考えられます。たとえば、セッション状態の読み込み、プロンプト構築、ツール呼び出し前後の制御、ツール結果の解釈、最終応答の整形などです。
公開ドキュメントから内部処理の詳細な内訳までは確認できませんが、少なくとも画面上の値は次のように理解するとよさそうです。
| 表示 | 見方 |
|---|---|
| AIエージェントのレイテンシー | AIエージェント呼び出し全体の経過時間 |
| プロンプトのレイテンシー | LLM 推論スパンの時間 |
| ツールのレイテンシー | 個別ツール呼び出しの時間 |
そのため、AIエージェントのレイテンシーは、プロンプトとツールの単純合計とは一致しない場合があります。
ESC と ERR のラベル
トレースには ESC や ERR のラベルが表示される場合があります。
ドキュメントでは、ESC はエスカレーション、ERR はエラーを表すと説明されています。
ESC: Stands for Escalate. Shows you when the AI agent escalated to a human agent.
ERR: Stands for Error. When the span received an error status.
ESCは Escalate を表し、AIエージェントが人間のエージェントへエスカレーションしたことを示します。
ERRは Error を表し、スパンがエラーステータスを受け取ったことを示します。https://docs.aws.amazon.com/connect/latest/adminguide/ai-agent-traces.html
今回の検証でも、エスカレーションが発生したターンに ESC ラベルが表示されました。エスカレーションが想定どおり発生しているか、または意図せずエスカレーションしていないかを確認するのに便利です。
また、以下のようにエラーが発生した箇所では ERR ラベルを確認できます。
エラーが発生したスパンに ERR ラベルが表示されている画面
ERR については、ドキュメントでは AI barge in や Timeout が例として挙げられています。音声セルフサービスでは、顧客の割り込みや外部処理のタイムアウトが発生することがあるため、問題調査時に確認したいポイントです。
チャットでは表示されなかった
今回、同じようなセルフサービス構成でチャットの問い合わせも確認しましたが、チャットの連絡先詳細では [フローとトレースの詳細を表示] が表示されませんでした。
一方で、電話の問い合わせでは表示されました。
AWS の What’s New では、今回の機能は self-service voice interactions 向けとして案内されています。
そのため、今回の検証結果と公開情報からは、AIエージェントトレース詳細は少なくともセルフサービス音声で利用する機能として理解するのが自然です。チャットで同等の詳細トレースを確認したい場合は、現時点の公開ドキュメントで対応状況を確認しておくのがよさそうです。
まとめ
Amazon Connect AIエージェントのセルフサービス音声インタラクションで、AIエージェントのトレース詳細を確認できるようになりました。
今回の検証では、連絡先の詳細ページから、フロー、Lex、AIエージェント、プロンプト、ツール呼び出し、入力パラメータ、レイテンシーを確認できました。特に、AIエージェントがどのツールを選択し、どのパラメータを渡したのかを画面上で追える点が便利でした。
導入時は、ボット分析とトランスクリプト、自動インタラクションログ、通話記録用 S3 バケットを確認しておく必要があります。また、2026年6月5日より前に Bot Analytics and Transcripts を有効化していた環境では、一度無効化して再度有効化する必要がある点に注意してください。
