Amazon Connectは、セルフサービスボットのパフォーマンス評価ができるようになりました #AWSreInvent
はじめに
Amazon Connectのパフォーマンス評価機能では、事前に作成した評価フォームを利用し、機械学習を用いたスコアリングやエージェントの会話内容の評価を行うことができます。
従来、Amazon Connectは、エージェントがパフォーマンス評価の対象でしたが、今回のアップデートで、セルフサービス（Amazon Lexボット）が評価対象になりました。
今回は、Amazon Q in Connectセルフサービスと会話終了後、評価を実行してみます。
料金
Amazon Connectでは２つの料金体系があります。英語ページだと以下となっておりました。
- Amazon Connect channels (with unlimited AI)
- A la carte pricing
無制限AIの料金体系だと、パフォーマンス評価の料金は無料であり、チャネル料金に加算されます。「セルフサービスインタラクションのパフォーマンス評価」が利用可能と明記されていました。
一方、アラカルト料金の場合は提供されていないため、無制限AIを適用した（次世代のAmazon Connectを有効化した）Amazon Connectインスタンスでないと利用できません。
セルフサービスインタラクションのパフォーマンス評価、Amazon Nova Sonic、サードパーティの音声テキスト変換 (STT) およびテキスト読み上げ (TTS) モデル設定へのアクセスは、アラカルト料金では提供されません。
前提条件
- Amazon Q in Connectセルフサービス構築済み
評価フォーム作成
その他の設定
今回のアップデートで「その他の設定」タブが追加されました。フォーム言語は日本語に対応していないため、言語は設定しません。
「連絡先とのやり取りのタイプ」は、「自動のやりとり」を選択することで、Lexボットを評価することができます。
セクションと質問
「連絡先とのやり取りのタイプ」が「自動のやりとり」の場合、質問の回答を自動化する方法のオプションには、生成AIによる自動回答は選択できませんでした。
また、評価の自動提出を有効化することもできず、オフにする必要がありました。
「質問の回答を自動化する方法のオプションを選択」として、コンタクトカテゴリもありました。Contact Lensのルールを使用して条件分岐を設定することで、トリガーされたコンタクトにコンタクトカテゴリが付与され、それによって自動回答できるというものです。
生成AIによる回答に比べ、利用用途は限定的です。
セクション1: ボット対応品質
質問1.1: ボットは顧客の意図を正しく理解できましたか？
-
オートメーション: 自動化なし
-
評価者向け手順
トランスクリプトを分析し、以下の基準に基づいて最も適切な選択肢を選んでください。 【はい】 - 顧客の最初の発言に対して、ボットが即座に正しい回答や適切なメニューを提示した。 - 顧客による訂正や「違う」といった否定の発言が一度も発生していない。 【概ねできた】 - 最終的には正しい回答や手続きにたどり着いた。 - ただし、ボットが一度聞き返したり、顧客が一度言い直したりする等の軽微なやり取りが発生した。 【いいえ】 - 顧客が「そうじゃない」「違う」「いいえ」とボットの認識を明確に否定したまま終わった。 - または、ボットが的外れな回答を繰り返し、顧客が諦めた（または意図せず転送された）。 -
回答選択肢:
- はい (10点)
- 概ねできた (5点)
- いいえ (0点)
質問1.2: ボットの聞き取りや認識はスムーズでしたか？
-
オートメーション: 自動化なし
-
評価者向け手順
ボットのエラーメッセージ（聞き取れませんでした等）やループの頻度を判定してください。 【はい】 - ボットによる聞き返し（「もう一度お願いします」「聞き取れませんでした」等）が一度も発生しなかった。 【概ねスムーズ】 - 聞き返しが「1回だけ」発生したが、その後すぐに認識に成功し会話が進行した。 【いいえ】 - 同じ箇所で2回以上連続して聞き返しが発生した。 - 顧客がボットに認識させるために、同じ単語やフレーズを何度も繰り返している。 - システムエラーのアナウンスが流れた。 -
回答選択肢:
- はい (10点)
- 概ねできた (5点)
- いいえ (0点)
質問1.3: 対話全体の品質はどうでしたか？
-
オートメーション: 自動化なし
-
評価者向け手順
会話全体の流れ、解決までの速度、顧客の感情を総合的に分析して判定してください。 【良い】 - 滞りなく会話が進み、顧客の目的が最短で達成（または適切な担当者へ転送）された。 - 顧客の発話に迷いや苛立ちが見られない。 【普通】 - 多少の間や言い直しはあったが、大きなトラブルなく完了した。 - ボットの対応は許容範囲内である。 【悪い】 - 認識ミスが多発した、またはフローが非常に冗長で時間がかかっている。 - 顧客が怒りや不満（「担当者を出せ」「使えない」等の発言）を示している。 - 会話が成立せず、途中で切断されている。 -
回答選択肢:
- 良い (10点)
- 普通 (5点)
- 悪い (0点)
試してみる
Amazon Q in Connectセルフサービスと会話するフローを作成し、電話してみます。発信者は、以下の内容を伝えました。
- クラスメソッドのオフィスの住所を教えてください。
- ありがとうございます。解決しました。
1分程度の電話の終話後、コンタクト詳細ページでは、5分程度で文字起こしが表示されました。
[評価]タブから評価をしてみます。
手動で評価します。
すぐに点数が表示されました。
なお、「連絡先とのやり取りのタイプ」が「エージェントとのやり取り」の場合、評価はできず以下のエラーが表示されました。
最後に
現時点では自動評価できないのが惜しいですが、エージェントとの会話は生成AIによって自動評価ができるため、セルフサービスのボットも時間の問題で自動評価できるようになると考えられます。
自動評価が可能になれば、ボットを利用している場合にぜひ活用したい機能です。
