Amazon Quick Suite の使用状況メトリクスダッシュボードを使ってみた
いわさです。
Amazon Quick Suite みなさん触っていますか。
従来から使っていた BI 部分である Quick Sight を使っている方は多いと思いますが、新しい Quick Research や Quick Flows などの機能を使っている方はまだ多くないと思います。
この新しい Quick Suite 機能に関する分析機能が提供されていることに先日気が付きました。
Quick Suite 管理画面のメニュー内に「ユーザーエンゲージメントメトリクスを表示」というメニューが表示されています。
メニュー押せないし使い方もよくわからなかったのですが、色々 Quick Suite を触っているうちに使い方がわかったので紹介します。
Quick Suite 各アセットの使用状況を管理者が確認できる
本日時点で Quick Suite のデザインやブランドは全リージョンに展開されているのですが、新しく実装された最新機能は東京リージョンでは使えません。
そのため本機能は東京リージョンではまだ使えません。管理メニューに存在はしているのですがまだ押せない状態です。
では Quick Suite の全アセットが有効なサポートリージョンで上記を確認してみるとどうなるでしょうか。
このように、先程は表示されていなかった「Quick Suite Usage Metrics」が選択できるようになっていますね。
こちらを押してみましょう。
「クイック使用状況メトリクス」という画面に遷移しました。
公式ドキュメントではおそらく次が該当すると思うのですが、Quick Sight の分析メニューから遷移するような説明になっており、もしかするとまた別のメトリクス分析機能を指しているのかもしれません。
このダッシュボードで何ができるのか確認してみましょう。
大きくは「クエリと会話」と「アセットの作成と使用状況」が確認できます。
エージェントごとの一定期間の利用状況を管理者が把握できる
「クエリと会話」ではチャットエージェントごとの一定期間のクエリ、会話、ユーザー、応答フィードバックに関するメトリクスを確認することができます。
いくつかのビューに分かれており、私の環境だとまだ使い切れていなくて表示されていないものもあるのですが以下が確認できるようです。
- 会話、クエリ、アクティブユーザー
- 会話ごとの平均クエリ数
- 顧客フィードバックの傾向
- クエリスコープの選択
- サムズダウンの理由
- 未回答のクエリ
なるほど。作成・提供したチャットエージェントが組織内でどの程度有効活用されているのか、品質に問題がないのかを確認することが出来るみたいですね。
管理者はここを確認して各エージェントの改善を行うことが出来そうです。
サムズダウンした際のフィードバック内容も確認できるみたいなので、利用者側もそれは知っておくと良いですね。
なお、この機能ではエージェントと機能を絞り込むことができます。
デフォルトではすべてのエージェントの今月のデータが表示されているみたいです。
期間に関しては今月・前月と、今週・前週が用意されていました。
月単位か週単位で分析が出来そうなのですが、先々月とか確認できるかわからないですね。
アセットの作成と使用状況
もうひとつのアセットの作成と使用状況ですが、こちらは一定期間内に作成されたアセットと使用されたアセットの合計数を確認することができます。
大きく２つ「機能別のアセット使用状況」と「最も使用されたアセット」を確認できます。
「機能別のアセット使用状況」では組織内で Quick Suite の各種最新機能がどの程度利用されているのか確認できそうです。
先日もブログを書いたので、フローについては作成した記憶があるのですが、ちょっと集計のタイムラグあるのかな...No data になっていますね。
カスタムエージェントとスペースはそのもっと前に作成済みです。
「最も使用されたアセット」ではより細かい、アセット単位での使用状況を確認することができます。
次のようにアセットタイプごとにフィルタリングが出来るので、例えば先程の機能別でフローの利用が多いなとなったときに、こちらの機能でじゃあどのフローがよく使われているのだろう。というのを確認できそうです。
こちらも期間について絞り込みができまして、粒度は先程と同じで今月・前月・今週・前週ですね。
さいごに
本日は Amazon Quick Suite の仕様状況メトリクスダッシュボードを使ってみました。
勝手に集計してくれて管理者が使えるダッシュボードです。
Quick Sight ではなく Quick Suite の最新機能の利用を開始している場合は、ぜひこちらの機能を活用して利用状況を把握してみてください。
また、エージェントの提供者の方もこちらを確認することでユーザーフィードバックを元に品質改善を行うことが出来ると思うので、うまく使いたいですね。
