Amazon Connect Customer の会話分析ルールで各お問い合わせ内容を分類し、ダッシュボードに表示してみた
はじめに
Amazon Connect Customer の会話分析ルールでは、チャットの内容に応じてコンタクトカテゴリを付与できます。
今回は、ルールの [自然言語 – セマンティック一致] 条件を使い、日本語チャットを「プラン変更」と「解約」に分類しました。顧客がその言葉を直接使わないチャットでもカテゴリが付与されるかを試し、会話分析ダッシュボードで件数と割合を確認します。
検証の前提と流れ
検証には、チャット用の問い合わせフローと会話分析を利用できる Amazon Connect Customer インスタンスを使用しました。リージョンは ap-northeast-1 です。
操作するユーザーには、会話分析ルールの作成・公開に必要な権限を付与しています。自然言語によるルールの作成には、ルールに加えて「ルール - 生成 AI」のアクセス許可が必要です。また、ダッシュボードの閲覧には、ダッシュボードへのアクセス権限と会話分析を表示する権限が必要です。
今回の流れは、チャット分析を有効にしたフローでチャットを受け付け、チャット後分析のルールでカテゴリを付与し、コンタクト詳細画面と会話分析ダッシュボードで結果を確認する、というものです。
チャット分析と分類ルールを設定する
問い合わせフローでチャット分析を有効にする
問い合わせフローの [録音と分析の動作を設定] ブロックで、チャット分析を有効にしました。今回の設定値は以下です。
| 設定項目 | 設定値 |
|---|---|
| チャット分析 | 有効 |
| 分析言語 | ja-JP |
| 分析モード | ContactLens |
問い合わせフローでチャット分析を有効にし、分析言語を ja-JP に設定している
執筆時点の AWS ドキュメントでは、既存フロー向けのブロックに加え、新しいフロー向けのブロックも案内されています。ここでは、検証に使用したフローの画面表示に合わせて記載しています。
プラン変更と解約のルールを作成する
[ルールの作成] から、以下の2本を作成しました。ルール名とカテゴリ名は今回の検証用の値です。
| ルール名 | カテゴリ名 | 自然言語ステートメント |
|---|---|---|
TestChatPlanChange |
TestPlanChange |
顧客は料金プランまたは契約プランを変更したいと考えている。 |
TestChatCancellation |
TestCancellation |
顧客は現在利用しているサービスまたは契約を解約したいと考えている。 |
どちらのルールも、イベントには [チャット後分析が利用可能]、条件には [自然言語 – セマンティック一致] を指定し、カテゴリ名を設定して公開しました。この条件はリアルタイム分析では使用できないため、今回の分類結果はチャット中ではなく、チャット後に確認します。
プラン変更のステートメントと TestPlanChange カテゴリを設定している
この条件では、生成 AI が会話のトランスクリプトとステートメントを照合し、true または false で評価します。AWS ドキュメントは「顧客」「エージェント」など、誰の行動か分かる表現を案内しています。今回は顧客の意図を分類したいため、ステートメントに「顧客」を入れました。キューやコンタクト属性で対象を絞る場合は、ステートメントではなくルールの追加条件で指定します。
なお、画面には従来の [単語またはフレーズ – セマンティック一致] 条件もあります。AWS ドキュメントでは、従来の条件を使用していた場合、生成 AI を活用した [自然言語 – セマンティック一致] の利用を案内していましたので、今回は後者を使用しました。
従来の [単語またはフレーズ – セマンティック一致] 条件の入力例
日本語チャットでカテゴリの付与を確認する
ルールの公開後、以下の4パターンをチャットで試しました。いずれもチャットを終了し、後処理を完了してからコンタクト詳細画面を確認しています。今回の環境では、終了後およそ3～4分でカテゴリが表示されました。これは検証時の所要時間であり、固定の処理時間ではありません。
料金の見直しを相談する
顧客は「プラン変更」とは言わず、料金を抑えたいと伝えました。
顧客:
毎月の料金が少し負担になっていて、何か見直せる方法はありますか？
エージェント:
ご利用中のプランの変更をご案内できます。現在のプランを確認いたします。
顧客:
できれば、もう少し安い内容に切り替えたいです。
このチャットには TestPlanChange が付与されました。
料金の見直しを相談したチャットに TestPlanChange が付与された
利用をやめたいと伝える
次は、顧客が「解約」と言わずに利用終了を希望するチャットです。エージェントの発言には「解約」が含まれています。
顧客:
最近あまり使っていないので、今後どうするか迷っています。
エージェント:
ご利用継続、プラン変更、解約のお手続きをご案内できます。
顧客:
このまま料金がかかるなら、利用をやめる手続きをお願いしたいです。
このチャットには TestCancellation が付与されました。
複数カテゴリと別の解約表現を試す
プラン変更と利用終了の両方に触れるチャットも試しました。
顧客:
使う頻度が減ったので、契約内容をこのままにするべきか悩んでいます。
エージェント:
料金を抑えるプランへの変更、またはご利用終了のお手続きが可能です。
顧客:
安いプランがなければ、いったん利用を終えようと思います。
このチャットには TestPlanChange と TestCancellation の両方が付与されました。今回のルールでは、2つのカテゴリは排他的ではありません。
さらに、次回の請求を避けたいという伝え方も試しました。
顧客:
しばらくサービスを使う予定がないのですが、料金だけ発生し続けるのでしょうか？
エージェント:
ご利用を継続しない場合は、利用終了のお手続きが可能です。
顧客:
では、次の請求が発生しないように手続きをお願いします。
このチャットには TestCancellation が付与されました。確認結果をまとめると、以下のとおりです。
| チャットで確認した内容 | 付与されたカテゴリ |
|---|---|
| 料金を抑えるためにプランを見直したい | TestPlanChange |
| 利用をやめる手続きを希望している | TestCancellation |
| 安いプランがなければ利用を終えたい | TestPlanChange、TestCancellation |
| 次回以降の請求を発生させたくない | TestCancellation |
今回試した範囲では、顧客がカテゴリ名に相当する言葉を直接使わないチャットにも、想定したカテゴリが付与されました。
ダッシュボードで件数と割合を確認する
[ダッシュボードとレポート] の [会話分析ダッシュボード] を開き、[コンタクトカテゴリ] ウィジェットを確認しました。今回の検証では、TestCancellation が3件、TestPlanChange が2件と表示されました。
ここで注意したいのが [コンタクト %] の分母です。この値は、カテゴリ付与の延べ件数に対する構成比ではなく、集計対象のコンタクトのうち、そのカテゴリが付いたコンタクトの割合です。
今回、会話分析済みのコンタクトは5件ありました。このうち4件が意図して実施したチャットで、残りの1件は検証中に誤って作成したコンタクトです。誤って作成した5件目には、どちらのカテゴリも付いていません。一方、2件目には両方のカテゴリが付いています。
| コンタクト | TestCancellation |
TestPlanChange |
|---|---|---|
| 1 | あり | なし |
| 2 | あり | あり |
| 3 | なし | あり |
| 4 | あり | なし |
| 5（誤って作成） | なし | なし |
カテゴリフィルターを設定しない場合
誤って作成した5件目も含め、5件すべてが集計対象です。TestCancellation は5件中3件で60%、TestPlanChange は5件中2件で40%と表示されました。
カテゴリフィルターなしでは、5件を対象に60%と40%が表示された
両カテゴリでフィルタリングした場合
カテゴリフィルターで TestCancellation と TestPlanChange を指定しました。今回の検証では、どちらかのカテゴリが付いたコンタクト1～4の4件が集計対象となり、カテゴリが付いていない5件目は含まれませんでした。
その結果、TestCancellation は4件中3件で75%、TestPlanChange は4件中2件で50%と表示されました。
両カテゴリでフィルタリングすると、対象の4件に対して75%と50%が表示された
75%と50%を足すと100%を超えます。これは、コンタクト2が両方のカテゴリで数えられているためです。[コンタクト %] は、カテゴリ同士を合わせて100%になる問い合わせ種別の構成比としては扱えません。
会話分析済みコンタクト全体に占める割合を確認したい場合は、カテゴリフィルターを外します。特定のカテゴリに該当するコンタクトに絞って平均処理時間などを確認したい場合は、カテゴリフィルターを設定します。
まとめ
[自然言語 – セマンティック一致] を使い、今回試した日本語チャットでは、「プラン変更」「解約」と直接言わない問い合わせにも、想定したカテゴリが付与されました。カテゴリはチャット後分析の結果として付与されるため、チャット終了後に確認します。
ダッシュボードの [コンタクト %] は、集計対象のコンタクトにそのカテゴリが付いた割合です。カテゴリフィルターによって分母が変わり、1件に複数のカテゴリが付く場合もあるため、問い合わせ種別の構成比としては扱わないようにします。
