【kaimei試してみる】AIデータ分析の「聞きすぎ」と「決めつけ」を設定で調整する

はじめに

データ事業本部の荒木です。

自然言語でデータを聞けるツールを触ったとき、次のどちらかで引っかかることはありませんか?

ひとつは、聞き返しが多いというものです。売上ランキングが見たいだけなのに、期間は、件数は、集計単位は、と確認が返ってきて、答えにたどり着くまでに何往復もかかります。

もうひとつは正反対で、勝手に決めて答えてくるというものです。どの期間で集計した数字なのか分からないまま結果が出てくるので、結局SQLを確認しないと業務には使えません。

この2つはAIに与えるコンテキストの内容によって変化する挙動ですが、クラスメソッドのAIデータ分析基盤サービス「kaimei」では、チャット設定の項目として用意されているため、設定を変えるだけで挙動を制御することができます。

今回はそのAIの性格によって挙動がどのように変わるのか、実際に触って確かめました。

検証内容

設定の効果を見たいので、質問を固定して設定だけを変えます。同じ質問に対して差が出れば、それは設定による違いだと言い切れるためです。

質問は性格の違う2種類を用意しました。答えが1つに決まる具体的な質問と、答えの決まっていない曖昧な相談です。

• 具体的な質問: 「売上が多い商品を教えて」(期間も件数も指定していない。1往復で終わる想定)
• 抽象的な相談: 「売上を伸ばしたいのですが、まず何を見ればいいですか?」を起点に、同じチャットで3ターン続ける
• 変える設定1: 応答スタイル4種(慎重型/標準型/分析型/即答型)
• 変える設定2: 個人プロンプト(前提条件をあらかじめ書いておく機能)
• 見る観点: 聞き返しの有無、SQLを実行するか、出力の粒度

データはkaimeiのサンプルで用意したデータセット(商品マスタ・顧客マスタ・販売実績のサンプルデータを格納した3テーブル)を使います。

本題

チャット設定でできること

チャット設定を開くと、応答スタイル・個人プロンプト・表示設定が並んでいます。今回使うのは上の2つです。設定を開くボタンは、新しいチャットでは入力欄の下、会話が始まったあとはヘッダーの右上にあります。

応答スタイルは慎重型・標準型・分析型・即答型の4つで、標準型がデフォルトです。個人プロンプトは300文字までで、AIへの前提条件を自由に書いておけます。

具体的な質問を投げる

各スタイルを選んで保存し、新しいチャットで「売上が多い商品を教えて」と質問しました。

慎重型

4つの中で最も多くの確認を返してきたのが慎重型です。いきなり聞き返すのではなく、何を根拠に何をしようとしているかを先に見せてきます。

• 聞き返し: 対象期間、表示件数、集計単位(商品単位かカテゴリ単位か)の3点
• 前置き: 対象データ(使用するテーブル)と分析方針を提示したうえで確認に入る
• SQLの実行: なし
• 出力: 確認のみで結果は返らない

標準型

デフォルトのスタイルですが、応答は4つの中で最も短くなりました。

• 聞き返し: 期間の1点のみ。選択肢の提示もなし
• SQLの実行: なし
• 出力: 確認のみで結果は返らない

分析型

聞き返しの点数は標準型より多いものの、選択肢を並べてくるぶん答えやすい形でした。

• 聞き返し: 期間と件数の2点
• 選択肢: 期間は今月・今年度・直近1年間・2025年度全体から選ぶ形で提示される
• SQLの実行: なし
• 出力: 確認のみで結果は返らない

なお選択肢に年度が出ているのは、このテナントのビジネスナレッジに会計年度のルールを登録しているためです。応答スタイルによるものではありません。

即答型

4つの中で唯一、聞き返さずにその場で結果まで返しました。

• 聞き返し: なし
• SQLの実行: あり
• 出力: TOP20のランキング、カテゴリ別の傾向、売上金額の分布

注目したいのは回答の1行目で、次のように前提が明示されます。

【前提】全期間の売上合計として実行しました

勝手に決めて答えるのではなく、何を決めたのかを書いたうえで答える形です。

4つの違いを並べる

具体的な質問に対する4スタイルの結果を並べると、聞き返しの深さが段階的に変わっているのが分かります。

聞き返す3つのスタイルは、いずれもSQLを実行せずに確認で止まりました。曖昧な質問のまま推測で走らない作りになっています。点数は慎重型が3点、分析型が2点、標準型が1点と分かれましたが、どれも1往復で確認が終わるので、違いは聞かれる項目の多さだけです。

抽象的な相談を3ターン続ける

ここまでは答えが1つに決まる質問でした。答えの決まっていない相談ではどう変わるのかを見るため、質問を変えます。「売上を伸ばしたいのですが、まず何を見ればいいですか?」という、何を見るべきかも決まっていない相談です。同じチャットで次の3ターンを続けます。

1. 売上を伸ばしたいのですが、まず何を見ればいいですか?
2. その中で優先度が高いものを詳しく教えてください
3. 他に見落としている観点はありますか?

ここで4つの序列が入れ替わりました。データを見に行くまでの速さで並べると、次のようになります。

最も慎重に振る舞ったのは慎重型ではなく分析型でした。違いが出るのは1ターン目なので、4スタイルの1ターン目を順に並べます。

慎重型

1ターン目は確認から入りましたが、2ターン目以降は期間が決まらないままデータに踏み込みました。

• 1ターン目: 使用テーブルと分析方針の3観点を示し、対象期間と優先観点の2点を確認。集計はなし
• 2ターン目: 期間が指定されないまま集計に入る
• 3ターン目: 地域別まで広げ、関東の売上が北海道の半分以下であることを提示

標準型

聞き返しはなく、1ターン目からデータを見に行きました。

• 1ターン目: 月別推移・カテゴリ別・顧客セグメント別の3観点を集計
• 2ターン目: 法人顧客を25社増やせば約875万円の売上増になる、といった試算まで踏み込む
• 3ターン目: 法人顧客の開拓と高利益率商品の拡販を優先施策として整理し、さらに3つの視点で追加分析

分析型

3ターン使っても一度もデータを見に行きませんでした。期間が指定されていないと指摘しては、観点の説明を増やしていきます。

• 1ターン目: 分析対象期間と比較対象期間の2軸を確認し、実施予定の観点を予告
• 2ターン目: 期間が決まっていないと再度指摘し、観点の説明を増やす
• 3ターン目: 同じく期間を確認。見るべき観点は3つから8つに増えた

ここまでだと深掘りをしない挙動なのか、期間が決まらないと動けないだけなのかが判断できません。深掘りする挙動を確認するため、4ターン目でkaimeiから求められている期間を追加で渡してみました。渡したのは「直近1年間でお願いします」の一言です。

• 集計: 月別売上推移、カテゴリ別売上構成、顧客セグメント別分析を一度に実行
• 指摘: 家電は売上の79.2%を占めるが利益率は10.2%と最も低い。オフィス用品は構成比1.8%だが利益率27.3%と高い
• 提案: 売上改善の気づきを4点、次に深掘りすべき分析として商品別・地域別・割引率・配送方法の4つ
• グラフ: 3枚を自動生成

分析型は深掘りをしないのではなく、対象期間が決まるまで動かない挙動でした。期間さえ渡せば、4スタイルの中で最も踏み込んだ分析を返してきます。3ターンで到達しなかったのは、こちらが期間を答えずに質問を重ねたためです。

AIに細かく分析させるためには、検索条件はしっかりと指定してあげる必要がありそうです。

即答型

聞き返しはなく、その場で集計まで進みました。1行目で前提を明示するのは具体的な質問のときと同じです。

• 1ターン目: 前提を明示したうえで集計まで実行
• 2ターン目: 家電カテゴリを掘り下げ、割引率を2%下げれば約255万円の利益増になるという試算を提示
• 3ターン目: 地域別・配送方法別・リピート顧客の3観点で追加分析

個人プロンプトで前提を先に渡す

聞き返しの内容は毎回ほぼ同じなので、前提が決まっているなら先に渡しておけば済むはずです。応答スタイルを標準型に戻したうえで、個人プロンプトに次の内容を登録しました。

期間の指定がなければ全期間で集計してください。ランキングは上位5件まで。金額は万円単位で表示してください。

この状態で具体的な質問(売上が多い商品を教えて)を投げると、聞き返しは消えました。件数は指定どおり上位5件、金額も万円単位で返ってきています。標準型のままでも、前提を渡しておけば即答型に近い動きになるということです。

先ほどの標準型の回答と見比べると、同じ質問・同じ応答スタイルで結果が変わっているのが分かります。応答スタイルより個人プロンプトの方が強く効く、と考えてよさそうです。

まとめ

kaimeiのチャット設定を使って、同じ質問に対する回答が応答スタイルと個人プロンプトでどう変わるかを確かめました。

とりあえず動かしてみるだけであれば標準型を使用すればいいのかなと思いますが、よりAIでの分析させたいのであれば分析型でより多くの気づきだったりを出力してもらうのが良さそうです。

kaimeiは自然言語でデータを分析できるサービスです。
実際の使い勝手が気になる方はサービスページからお問い合わせいただければと思います。

参照

• kaimei | クラスメソッド