Contact Lens for Amazon Connectの感情分析は、どのような言葉がポジティブ、ネガティブと判断されるか調査してみた
この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。
はじめに
Contact Lens for Amazon Connect(以降、Contact Lens)の機能の一つに感情分析機能があります。
感情分析機能は、Connectでオペレータと顧客が話している言葉の感情を捉えて分析します。
肯定的、中立的、否定的の３つに分類されます。
例として、以下のように感情分析の結果が表示されます。
具体的な処理内容は、Contact Lens側でAmazon Transcribe を利用して通話を文字起こしされ、Amazon Comprehendを利用して、文字起こしした言葉に対して感情分析されます。
ちなみに、勘違いされやすいですが、発する声色は、感情分析の対象ではありません。文字起こしした言葉(テキスト)のみが対象です。
今回は、コールセンターで使用される言葉のうち、どういった言葉が肯定的、中立的、否定的と判定されるか調査してみました。
テスト結果の後に、調査方法を記載します。
テスト結果
2023年2月23日時点での調査結果です。今後、Amazon Comprehend 認識能力が向上することで、精度が上がる可能性はあります。
感情分析で肯定的、中立的、否定的と判断された言葉が、適切かどうかも私が独断で判定します。
肯定的と判断された言葉
| 言葉 | 判定 | 備考 |
|---|---|---|
| 運がいいです | ○ | |
| うまくいっております | ○ | |
| 最高です | ○ | |
| いい日だった | ○ | |
| ワクワクする | ○ | |
| ありがとうございます | ○ | |
| 感謝します | ○ | |
| 嬉しいです | ○ | |
| 助かります | ○ | |
| 安心いたしました | ○ | |
| おめでとうございます | ○ | |
| 動くようになってよかったです | ○ | |
| きっといいことがあるに違いない | ○ | |
| 満足しています | ○ | |
| すばらしい | ○ | |
| お手数をおかけしました | × | 中立的、もしくは否定的が正しいです |
| いい加減してください | × | 否定的が正しいです |
中立的と判断された言葉
| 言葉 | 判定 | 備考 |
|---|---|---|
| お願いします | ○ | |
| いえ大丈夫です | ○ | |
| 寄り添います | ○ | |
| 結構です | ○ | |
| おっしゃる通りでございます | ○ | |
| ごもっともでございます | ○ | |
| 貴重なご意見を賜わり | ○ | |
| よろしければ | ○ | |
| 恐れ入りますが | ○ | |
| あいにくではございますが | ○ | |
| ご連絡先を頂戴してもよろしいでしょうか | ○ | |
| 早くしてほしい | × | 否定的が正しいです |
| 長時間待ってますよ | × | 否定的が正しいです |
| 今後十分注意いたします | × | 否定的が正しいです |
| 分からないです | △ | どちらかというと否定的が正しいです |
| わかりません | △ | どちらかというと否定的が正しいです |
否定的と判断された言葉
| 言葉 | 判定 | 備考 |
|---|---|---|
| (時間が)もったいない | ○ | |
| 変更できないのはおかしい | ○ | |
| 配送が遅い | ○ | |
| 間違えました | ○ | |
| すいませんでした | ○ | |
| 破綻します | ○ | |
| 嫌いです | ○ | |
| きついです | ○ | |
| 大変でした | ○ | |
| 難しいですね | ○ | |
| 大変ご迷惑をおかけしました | ○ | |
| 困っています | ○ | |
| (話しても)無駄です | ○ | |
| 申し訳ございません | ○ | |
| 大変失礼いたしました | ○ | |
| 誠に恐れいります | ○ | |
| お待たせいたしました | ○ | |
| 申し上げにくいのですが | ○ | |
| 苦手です | ○ | |
| わかりかねます | ○ | 「わからないです」 と「わかりません」は、中立的でした |
結果のまとめ
感情分析は、精度としては高い方ではないでしょうか？ 一部、「わからないです」は中立的ですが、敬語の「わかりかねます」が否定的と判断されているのは、おかしいですが。。
テスト方法
上記のテスト方法について記載します。
Contact Lensの有効化とコンタクトフロー以外は、以下通りに設定します。
Contact Lensの有効化
AWSマネジメントコンソールのConnectに遷移し、Connectインスタンスの分析ツールから、Contact Lensを有効化にチェックをいれるだけです！
コンタクトフロー
コンタクトフローは、先程の参考記事に、記録と分析の動作を設定をエントリの次に入れるのみです。
記録と分析の動作を設定の設定内容は、下記の通りです。
- 通話記録をオン
- Contact Lensの会話分析を有効
- 音声分析を有効にする
- 通話後の分析
- 言語は、日本語を設定
これで、電話をかけると、テストができます。
Contact Lensの感情分析を利用する際は、よく利用される言葉で、テストすることをおすすめします
