Amazon Connect Customer の AI エージェントとの会話内容をテキストで確認する方法をまとめてみた
はじめに
Amazon Connect Customer の AI エージェントで問い合わせ対応を試していると、通話終了後に「顧客と AI エージェントが実際に何を話したのか」を確認したくなります。
たとえば、以下のような用途です。
- AI エージェントの回答内容を確認する
- 顧客の問い合わせ内容と対応結果を調査する
- AI エージェントが実行した処理を確認する
- 会話内容を外部システムへ連携する
- AI エージェントの回答精度を確認する
確認方法を調べると、ListMessages、ListSpans、CloudWatch Logs、Automated Interaction Log などが見つかります。
ただし、それぞれ確認できる情報が異なります。
本記事では、実際に確認した範囲をもとに、各機能の違いを整理します。
なお、本記事で扱うのは、音声録音ファイルを取得して音声認識する方法ではありません。AI エージェントのセッションに含まれるメッセージやログを使って、会話内容をテキストで確認する方法を紹介します。
確認方法の違い
確認したい内容ごとに整理すると、以下のようになります。
| 目的 | 方法 |
|---|---|
| 会話内容を API で取得する | ListMessages |
| AI エージェントの処理を API で調査する | ListSpans |
| 詳細イベントを継続的に分析する | CloudWatch Logs |
| 管理画面から自動応対を確認する | Automated Interaction Log |
ListMessages
会話メッセージを取得する
ListMessages は、AI エージェントのセッションに含まれるメッセージを取得する API です。
レスポンスには、主に以下の情報が含まれます。
| 項目 | 内容 |
|---|---|
messageId |
メッセージを識別する ID |
participant |
CUSTOMER、BOT、AGENT などの参加者 |
timestamp |
メッセージの時刻 |
value |
メッセージ本文などの値 |
取得したメッセージを時刻順に並べると、以下のように表示できます。
CUSTOMER: 配送日時を確認したいです
BOT: 配送日時を確認します
CUSTOMER: 午後6時から8時でお願いします
BOT: 配送日時を変更しました
今回確認した範囲では、顧客の発話は CUSTOMER、AI エージェントの応答は BOT として返されました。
ListMessages を使う場面
ListMessages では、顧客と AI エージェントのメッセージをセッション単位で取得できます。取得したメッセージは、会話履歴として表示したり、外部システムへ連携したりできます。
実行には Assistant ID と Session ID が必要です。Contact ID を起点にする場合は、DescribeContact のレスポンスに含まれる Contact.WisdomInfo.SessionArn から Assistant ID と Session ID を取り出します。
AWS CloudShell から Contact ID を指定して会話を取得する手順は、以下の記事で紹介しています。
なお、取得対象は AI エージェントのセッション内にあるメッセージです。AI エージェントが関与していない区間を含めた音声コンタクト全体の文字起こしを取得する API ではありません。
ListSpans
AI エージェントの処理を確認する
ListSpans は、AI エージェントの実行トレースを取得する API です。
ListMessages で確認できるのが会話本文であるのに対して、ListSpans では AI エージェントが実行した処理を確認します。
たとえば、以下のような内容です。
- AI エージェントのオーケストレーション
- LLM（大規模言語モデル）の呼び出し
- ツールの選択
- ツールの実行
- 実行中に発生したエラー
- 各処理のタイミング
例えば、顧客が「配送日時を変更したい」と発話した場合、確認対象は以下のように分かれます。
ListMessages
→ 顧客の発話を確認
→ AI エージェントの応答を確認
ListSpans
→ 注文情報の検索ツールを呼び出した
→ 変更可能な配送枠を確認した
→ 配送日時変更のツールを呼び出した
会話の内容を確認する場合は ListMessages、AI エージェントが実行した処理を調査する場合は ListSpans を使用します。
CloudWatch Logs
詳細なイベントを確認する
AI エージェントのイベントログを CloudWatch Logs に配信する方法もあります。
CloudWatch Logs では、会話だけでなく、AI エージェントの処理に関するイベントも確認できます。
たとえば、以下のようなイベントです。
- 顧客メッセージ
- AI エージェントの応答
- オーケストレーション
- ツール呼び出し
- ツール実行結果
- ガードレール評価
- AI エージェントのトレース
- オーケストレーションエラー
ListSpans との違い
ListSpans と CloudWatch Logs は、どちらも AI エージェントの処理を調査できますが、利用方法が異なります。
| 観点 | ListSpans |
CloudWatch Logs |
|---|---|---|
| 取得方法 | 対象セッションを指定して API を実行 | 配信されたログを検索 |
| 主な用途 | 特定セッションの調査 | 複数セッションの継続的な分析 |
| 事前設定 | API 実行権限など | CloudWatch Logs へのログ配信設定 |
特定のセッションをその場で調べたい場合は ListSpans、複数のセッションを継続的に監視したい場合は CloudWatch Logs を使用します。
CloudWatch Logs への出力設定や、実際に出力されたログの確認については、以下の記事が参考になります。
CloudWatch Logs Insights を使ったログの検索や調査については、以下の記事も参考になります。
Automated Interaction Log
管理画面から自動応対を確認する
Automated Interaction Log は、Amazon Connect Customer の管理画面から自動応対の内容を確認する機能です。
コンタクト検索で対象コンタクトを開き、コンタクト詳細画面から以下のような情報を確認できます。
- 自動応対のトランスクリプト
- AI エージェントのトレース
- フローの実行内容
- Amazon Lex ボットの実行内容
- AI エージェントの呼び出し
コンタクト詳細画面で自動応対のトランスクリプトを確認している画面
コンタクト詳細画面でAI エージェントのトレースを確認している画面
Automated Interaction Log を使う場面
Automated Interaction Log は、特定の問い合わせを管理画面から調査したい場合に使用します。
たとえば、顧客から「AI エージェントの回答がおかしかった」と問い合わせを受けた場合、コンタクト詳細画面から会話やトレースを確認できます。
API を実行したりログを検索したりせず、個別のコンタクトを確認できる点が特徴です。
自動インタラクションの録音や文字起こしを確認した検証については、以下の記事が参考になります。
まとめ
Amazon Connect Customer の AI エージェントに関する情報は、確認したい対象によって利用する機能が異なります。
- 会話内容を API から取得する場合は
ListMessages - AI エージェントの処理を調査する場合は
ListSpans - 複数セッションのイベントを継続的に分析する場合は CloudWatch Logs
- 管理画面から個別のコンタクトを確認する場合は Automated Interaction Log
今回のように、音声録音ではなく、AI エージェントのセッションにある会話内容を API から取得したい場合は、ListMessages を使用します。
