Amazon Connect Customer に評価フォームの改善点を提示する機能が追加されたので試してみた
はじめに
Amazon Connect Customer に、AI による自動評価に使う評価フォームをチェックし、設問の改善点を提示する機能が追加されました。
今回追加されたのは、応対内容を自動評価する機能そのものではなく、その評価に使う設問や評価指示をチェックする機能です。AI が評価するために必要な情報が不足している設問などに対して、改善案を提示します。
本記事では、チェックの実行方法と、問題が指摘されなかった場合、改善点が指摘された場合の確認結果を紹介します。
何が変わったのか
AI に応対を評価させる場合、評価フォームに書かれた設問だけでは、判断基準が十分に伝わらないことがあります。
AWS のアップデート情報では、販売時に必要な説明をエージェントが行ったかを確認する設問が例として挙げられています。このような設問に対して、販売前に何を説明する必要があるのかを具体的に定義するよう、改善を促します。
例えば、「必要な説明を行いましたか」という設問だけでは、どの説明が必要なのか分かりません。人間の評価者が社内ルールを知っていても、その内容が設問や評価指示に書かれていなければ、AI に同じ判断を求めるのは難しいです。
今回の機能では、このような評価基準の不足を、フォームの設定時に確認できます。
評価フォームのチェックを実行する
評価フォームの作成・検証については、以下の公式ドキュメントで確認できます。
管理画面の [分析と最適化] > [評価フォーム] から、対象の評価フォームを開きます。
今回は、[保存] メニューから実行する方法と、各設問の [検証] から実行する方法を確認しました。
[保存して検証] から実行する
評価フォーム右上の [保存] メニューを開き、[保存して検証] をクリックします。
以下の画面では、[下書きとして保存]、[保存して検証]、[新しいバージョンとして保存] が表示されています。
[保存] メニューの [保存して検証] からチェックを実行
このメニューから、評価フォームの保存とチェックを実行できます。
各設問の [検証] から実行する
今回の検証では、[保存して検証] だけでなく、各設問の右側にある [検証] をクリックしてもチェックを起動できました。
以下の評価フォームには、「ボット対応品質」というセクションに、次の 3 つの設問を設定しています。
- ボットは顧客の意図を正しく理解できましたか？
- ボットの聞き取りや認識はスムーズでしたか？
- 対話全体の品質はどうでしたか？
各設問の右側に [検証] が表示されていることを確認できます。
各設問の右側にある [検証] からもチェックを起動可能
フォームの編集画面から、そのままチェックを実行できました。
動作確認
問題が指摘されなかった場合
チェックを開始すると、画面右側にパネルが開き、検証が実行されました。
チェックを開始すると、画面右側にパネルが表示
チェックが完了すると、右側の [検証結果] に「問題は見つかりませんでした」と表示されました。また、3 つの設問それぞれにも、同じ結果が表示されています。
右側の検証結果と各設問に「問題は見つかりませんでした」と表示
今回の検証では、このフォームに改善点は指摘されませんでした。
ただし、問題が指摘されなかったからといって、AI が意図どおりに採点できるとは限りません。運用前には、実際の会話をこのフォームで自動評価し、人間が想定した採点結果と一致するかも試しておきたいところです。
改善点が指摘された場合
次に、質問のタイプを [テキストフィールド] とし、「会話の内容を要約してください」という設問を設定したフォームを確認しました。
以下の画面では、[評価者向けの手順 — オプション] と [AI への指示 — 推奨] が、どちらも空欄になっています。
チェックの結果、設問に「1 件の提案」が表示されました。右側の [自動化設定チェック] パネルには、「手順は必須です」という指摘と、英語の説明・改善案が表示されています。
要約の対象範囲や詳細度、評価基準を指定するよう提案
表示された説明は以下です。
No instructions provided. AI has no guidance on summary scope, detail level, or evaluation criteria.
指示が入力されていません。要約の対象範囲、詳しさ、評価基準について、AI が判断するための情報がありません。
改善案も英語で表示されました。
Add instructions specifying: what elements to include in the summary (e.g., customer issue, agent actions, resolution), desired length or detail level, and how to evaluate summary quality and completeness.
要約に含める内容（顧客の問題、エージェントの対応、解決結果など）、求める長さや詳しさ、要約の品質や必要な情報が含まれているかを判断する基準を、指示として追加してください。
今回の設問は、要約すること自体は指定していますが、何を含め、どの程度詳しく書くかまでは指定していません。その不足に対して、具体的な改善案が提示されました。
なお、画面上の [AI への指示 — 推奨] という項目名と、検証結果の「手順は必須です」という表現は異なります。この表示だけで、指示欄がフォーム保存時の必須入力項目になったと解釈しないように注意が必要です。
また、今回の画面では指摘の説明と改善案が英語で出力されました。今後は、おそらく日本語になっていくでしょう。
まとめ
Amazon Connect Customer の評価フォームで、[保存して検証] または各設問の [検証] からチェックを実行できました。
今回の検証では、問題が指摘されない場合と、要約の対象範囲や評価基準の不足が指摘される場合を確認しました。指摘の説明と改善案は英語でしたが、何を追加すればよいかが具体的に示されていました。
自動評価に使うフォームを作成する際は、このチェックで指示の不足を確認し、実際の会話でも意図どおりの評価になるか試しておきたいと思います。
