Amazon Connectパフォーマンス評価で、セルフサービスのAIエージェントにも生成AIによる自動評価が使えるようになりました
はじめに
以前、Amazon Connect ではセルフサービスのAIエージェントに対するパフォーマンス評価を行えるようになりました。
ただし当時は、セルフサービスに対するパフォーマンス評価で生成AIを使った自動評価はできず、人が評価する必要がありました。
以前の制約について、セルフサービス評価のドキュメントには以下の記載があります。
Note that currently, you cannot use the integrated generative AI within the evaluation form to automatically evaluate self-service interactions.
現時点では、評価フォーム内の統合生成 AI を使用してセルフサービスインタラクションを自動評価することはできません
https://docs.aws.amazon.com/connect/latest/adminguide/performance-evaluations-automated-interactions.html
一方で、2026年4月13日時点でコンソールを確認すると、Amazon Connect AIエージェントのセルフサービスに対しても、評価フォームのオートメーションで生成AIを選択できるようになっていました。
実際にルールを作成して試したところ、AIエージェントが対応したコンタクトに対して自動評価が実行され、質問ごとの回答、根拠、トランスクリプト参照付きで結果を確認できました。
生成AIによる評価では、質問文だけでなく、評価者向けの手順に記載した基準も使って判定されます。
これにより、評価基準を評価フォームに記載し、AIエージェント対応後に自動評価されるルールを作成しておけば、人手を介さずに評価を回せるようになります。スコアの低いコンタクトだけを後から確認したり、通知や分析の対象に絞ったりしやすくなります。
本記事では、評価フォームの修正方法、ルールの作成手順、そして実際に自動評価された結果について確認します。
評価フォームを修正
今回は、前回作成したセルフサービス向けの評価フォームをそのまま流用します。
評価フォームに遷移し、各質問のオートメーションで、生成AIを選択します。
生成AIによる評価は、質問タイトルと評価者向けの手順に書かれた基準をもとにトランスクリプトを解析して回答する仕組みです。そのため、単に質問を書くのではなく、どういう条件なら「はい」なのかを評価者向けの手順に具体的に書いておくのが重要です。
あわせて [評価の自動提出を有効化] もオンにします。
Amazon Connect の評価フォームでは、各質問に自動化を設定したうえで、この設定を有効化してからフォームをアクティブ化することで、自動入力と自動送信の流れを構成できます。
ルール作成
続いて、評価を自動送信するためのルールを作成します。
自動評価のルールは、会話分析の完了後に評価を実行する「会話分析ルール」として作成します。
条件には AI エージェントを指定できるため、特定の Amazon Connect AIエージェントが対応したコンタクトだけを対象にすることが可能です。
アクションでは 自動評価を送信を選択し、先ほどの評価フォームを紐付けます。
まず、自動評価させたい特定のAIエージェントを指定します。
次にカテゴリ名を入力し、自動評価に使う評価フォームを選択します。
これで作成完了です。
試す
Amazon Connect AIエージェントと会話するフローを作成し、実際に電話してみます。
今回、発信者は以下の内容を伝えました。
- クラスメソッドのオフィスの住所を教えてください。
- ありがとうございます。解決しました。
チャット終了後、約3分で自動評価が完了しました。
評価結果を確認
評価結果を見ると、スコアだけでなく、各質問に対する判定理由まで自動で記載されていました。
実際の結果は以下のような内容でした。
- 顧客の意図を正しく理解できたか
- 顧客が住所を尋ね、その後に「ありがとうございます。解決しました。」と発話しているため、意図理解と解決ができていると判定
- ボットの聞き取りや認識はスムーズだったか
- 聞き返しや認識失敗のアナウンスがなく、一度で会話が成立していると判定
- 対話全体の品質はどうだったか
- 質問から解決まで短時間で完了しており、顧客の不満も見られないため良好と判定
このあたりは、従来のルールベース評価では判断しづらかった「顧客の意図を正しく理解し、解決まで導けたか」といった対話全体の品質を、トランスクリプト全体をもとに自然に評価できているのがよいですね。
また、生成AI評価は、回答だけでなく、コンテキストや根拠、トランスクリプト中の参照ポイントも合わせて提示できます。今回の結果でも、どの発話を根拠にその判定になったのかが表示されており、あとから人がレビューしやすい形になっていました。
最後に
Amazon Connect AIエージェントのセルフサービスでも、生成AIを使った自動評価が行えるようになっていました。
これにより、セルフサービス対応の品質確認を、これまで以上に効率よく実施できるようになりそうです。
