[アップデート]Amazon Connect Contact Lens のエージェントのパフォーマンス評価に生成 AI を使用した自動評価が追加されました(プレビュー)

[アップデート]Amazon Connect Contact Lens のエージェントのパフォーマンス評価に生成 AI を使用した自動評価が追加されました(プレビュー)

Clock Icon2025.01.10

こんにちは。
繁松です。

はじめに

Amazon Connect Contact Lens のエージェントのパフォーマンス評価に生成AIを使用した自動評価が追加されました。
今までもエージェントのパフォーマンスの自動評価機能はありましたが、生成AIを使用した評価ができるようになったので動作確認まで実施してみたいと思います。

https://aws.amazon.com/jp/about-aws/whats-new/2024/12/amazon-connect-contact-lens-agent-performance-evaluations-generative-ai/

https://docs.aws.amazon.com/ja_jp/connect/latest/adminguide/generative-ai-performance-evaluations.html

対応リージョンは以下です。

  • 米国東部 (バージニア北部)
  • 米国西部 (オレゴン)
  • アジアパシフィック (シンガポール)
  • アジアパシフィック (シドニー)
  • アジアパシフィック (東京)
  • カナダ (中部)
  • 欧州 (フランクフルト)
  • 欧州 (ロンドン)

対応言語は英語のみです。

やってみた

前提条件

  • Amazon Connectは構築済み
  • Contact Lensは有効化済み

コールフローの作成

以下の内容でコールフローを作成しました。
2025-01-10_15h50_50

今回はチャットで動作確認を行うので「記録と分析の動作を設定ブロック」ではチャット分析を有効にしています。
2025-01-10_15h52_12

パフォーマンス評価の作成

Amazon Connectのコンソールを開き、評価フォーム→「新しいフォームを作成」を選択します。
2025-01-10_15h52_56

評価フォームのタイトルを入力し次に進みます。
2025-01-10_15h54_27

セクションのタイトルを入力し、質問を追加を選択します。
2025-01-10_15h55_34

質問のタイトルに評価を行う質問を設定します。
質問のタイプは「一つの選択」「テキストフィールド」「数値」の三種類があります。
今回は生成AIがテキストでどのような評価を行うのか確認するために「テキストフィールド」を選択します。
オートメーションで「生成AI」を選択します。
パフォーマンス評価の質問は以下の内容を設定します(生成AIに作成してもらいました。)

2025-01-10_16h01_05

1. How well did the agent handle the initial customer contact?
(和訳:返品要請に対する初期対応は適切でしたか?)

2. How efficiently did the agent resolve the customer's issue?
(和訳:問題解決のプロセスは効率的でしたか?)

3. Did the agent demonstrate thorough knowledge of return/exchange procedures?
(和訳:返品・交換手続きの説明は正確でしたか?)

動作確認

チャットの内容

英語の会話で動作確認を行いたいので、生成AIを使ってチャットの会話内容を作成してもらいました。

Customer: Hi, I received my order yesterday but the size doesn't fit. I'd like to return it.
(和訳:こんにちは。昨日注文した商品を受け取りましたが、サイズが合いません。返品したいのですが。

Agent: Hello! Thank you for contacting us. I'm sorry to hear that the size doesn't fit. I'll be happy to help you with the return process. Could you please provide your order number?
(和訳:こんにちは!お問い合わせありがとうございます。サイズが合わなかったとのこと、申し訳ございません。返品手続きのお手伝いをさせていただきます。注文番号をお教えいただけますでしょうか?)

Customer: Yes, it's #ABC123456
(和訳:はい、#ABC123456です。)

Agent: Thank you for providing the order number. I can see you ordered the blue sweater in size M. To process your return, I'll send you a return label via email. Would you like to exchange it for a different size or would you prefer a refund?
(和訳:注文番号をお教えいただき、ありがとうございます。青いセーターのMサイズをご注文いただいていますね。返品手続きのため、返品用の送り状をメールでお送りいたします。別のサイズへの交換をご希望ですか?それとも返金をご希望でしょうか?)

Customer: I'd like to exchange it for a size L, if it's available.
(和訳:在庫があればLサイズに交換してほしいです。)

Agent: Let me check the availability for you... Yes, we have the same sweater in size L in stock. I'll process the exchange right away. You'll receive two emails: one with the return label and another with the exchange confirmation. Is there anything else I can help you with?
(和訳:在庫状況を確認させていただきます...はい、同じセーターのLサイズの在庫がございます。交換手続きを進めさせていただきます。返品用の送り状と交換確認の2通のメールをお送りいたします。他にご要望はございますか?)

Customer: No, that's all. Thank you for your help!
(和訳:いいえ、大丈夫です。ご対応ありがとうございます!)

Agent: You're welcome! Just to confirm: use the return label to send back the size M sweater within 30 days, and you'll receive the size L sweater within 5-7 business days after we receive your return. Please don't hesitate to contact us if you need any further assistance. Have a great day!
(和訳:どういたしまして!最後に確認させていただきます:返品用の送り状を使用して30日以内にMサイズのセーターをご返送ください。返品商品の受け取り後、5-7営業日以内にLサイズのセーターをお届けいたします。何かご不明な点がございましたら、お気軽にお問い合わせください。よろしくお願いいたします。)

評価の確認

コンタクトの検索から対象の会話を選択します。
右上の「評価」を選択し作成した評価フォームで評価を行います。
2025-01-10_16h05_43

結果は以下のようになっていました。

  1. How well did the agent handle the initial customer contact?
    (和訳:返品要請に対する初期対応は適切でしたか?)

結果

The agent handled the initial customer contact very well. They were polite, empathetic, and quickly acknowledged the customer's
The agent's opening response demonstrates a professional and helpful tone, acknowledging the customer's problem and offering to assist with the return process. Here are some transcript references to support this answer:

(和訳)
担当者は最初の顧客対応を非常にうまく処理しました。丁寧で共感的な態度を示し、速やかに顧客の要望を理解しました。
担当者の最初の応対は、プロフェッショナルで親切な口調で、顧客の問題を認識し、返品手続きの支援を申し出ています。これを裏付ける会話の記録は以下の通りです

※どの会話での評価か記載されていますが、ここでは省略しています。

  1. How efficiently did the agent resolve the customer's issue?
    (和訳:問題解決のプロセスは効率的でしたか?)

結果

The agent resolved the customer's issue efficiently. They quickly identified the order details, offered the exchange option, and
The agent demonstrated a clear understanding of the customer's issue, offered a suitable solution, and provided the necessary details to complete the exchange process. Here are some transcript references to support this answer:

(和訳)
担当者は顧客の問題を効率的に解決しました。注文の詳細を迅速に確認し、交換のオプションを提案しました。
担当者は顧客の問題を明確に理解し、適切な解決策を提案し、交換手続きを完了するために必要な詳細情報を提供しました。これを裏付ける会話の記録は以下の通りです

※どの会話での評価か記載されていますが、ここでは省略しています。

  1. Did the agent demonstrate thorough knowledge of return/exchange procedures?
    (和訳:返品・交換手続きの説明は正確でしたか?)

結果

The agent demonstrated thorough knowledge of the return/exchange procedures. They clearly explained the next steps for the custo
The agent provided detailed information about the return and exchange process, including the timeline and the steps the customer needs to take, demonstrating a strong understanding of the company's policies. Here are some transcript references to support this answer:

(和訳)
担当者は返品/交換の手続きについて十分な知識を示しました。顧客に対して次のステップを明確に説明しました。
担当者は返品と交換のプロセスについて、タイムラインや顧客が取るべき手順を含む詳細な情報を提供し、会社のポリシーについての深い理解を示しました。これを裏付ける会話の記録は以下の通りです

※どの会話での評価か記載されていますが、ここでは省略しています。

結果はこのような画面で確認できます。
2025-01-10_16h29_02

さいごに

生成AIを利用してエージェントの対応を評価してくれるのはとても便利な機能だと思いました。
日本語は未対応なので日本語に対応することを期待したいです。

AWSドキュメントに生成 AI の精度を向上させるためのガイドラインも公開されているので参考に質問を設定できるといいですね。
https://docs.aws.amazon.com/ja_jp/connect/latest/adminguide/generative-ai-performance-evaluations.html#guidelines-to-improve-generative-ai-accuracy

参考情報

https://www.cloudbuilders.jp/articles/5346/

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.