【kaimei試してみる】社内の暗黙知を1行教えるだけで、AIの分析精度はここまで変わる

はじめに

データ事業本部の荒木です。

自然言語でデータを聞けるツールを業務で使うとき、返ってきた数字をそのまま信じてよいか迷うことはありませんか。

AIは質問を解釈してSQLを組み立てて数字を出しますが、その解釈が自社で決めている基準と一致しているとは限りません。数字は出てくるのに、どんな前提で計算されたのかが分かりません。この状態では、出てきた数字を業務の判断には使えません。

先に結論を書きます。社内の暗黙知を登録していない状態でAIに分析させても、AIは足りない定義を自分の常識か、その場で組み立てた基準で埋めて回答します。

以降では、ビジネスナレッジを0件にした状態から、会計年度と出荷遅延の2つの題材で登録前後を比べていきます。

本題

kaimeiのビジネスナレッジとは

https://dev.classmethod.jp/articles/introduce-kaimei/

kaimeiは、自然言語の質問からSQLを生成してデータを分析できるクラスメソッドのAIデータ分析基盤サービスです。ビジネスナレッジは、そのkaimeiに組織固有の業務知識を教える機能です。「会計年度は10月始まり」「売上区分Aは食品を指す」といったルールを登録しておくと、チャットで質問したときにAIがそれを踏まえて回答します。

適用範囲は全社共通とデータセット限定の2種類があり、同じ項目名ならデータセット限定が全社共通より優先されます。

検証の方法: ビジネスナレッジ0件を初期状態にする

設定の効果だけを見たいので、質問を固定してナレッジの有無だけを変えます。

条件は次のとおり揃えました。

• 応答スタイル: 標準型(デフォルト)
• 個人プロンプト: 空
• データセット: kaimeiのサンプルデータ(商品マスタ・顧客マスタ・販売実績の3テーブル)
• ビジネスナレッジ: 0件から開始し、題材ごとに1件だけ追加する
• 試行回数: 各条件3回ずつ

3回ずつ試すのは、1回だけだと生成のばらつきと区別できないためです。見る観点は、回答で述べる判定基準・生成されたSQL・最終的な結果の3つです。

題材は2つ用意しました。AIが一般論で埋められる定義と、社内でしか決まっていない定義で、外し方が変わると考えたためです。

1. 会計年度: 当社は10月1日始まりという設定。日本では4月始まりが一般的なので、AIは一般論で埋めてくる可能性がある
2. 出荷遅延: 注文日から発送日まで5日以上という設定。閾値は会社ごとに違い、AIには推測しようがない

ナレッジ0件のとき、AIは一般的な会計年度で集計する

まず「2025年度の売上合計を教えて」と質問しました。

AIは回答の冒頭で「会計年度の定義が見つからなかったため、一般的な会計年度(4月開始)として解釈します」と述べ、2025年4月1日から2026年3月31日で集計しました。

SELECT SUM("SALES_AMOUNT") AS "売上合計"
FROM STORE_SAMPLE.FACT_SALES
WHERE "ORDER_DATE" >= '2025-04-01' AND "ORDER_DATE" <= '2026-03-31';

結果は126,892,187円です。3回試して、3回とも同じ説明・同じSQL・同じ金額でした。

当社の年度(10月始まり)で見た正解値は43,599,391円なので、約2.9倍の金額を答えていることになります。しかも毎回同じ数字が返るため、何度聞き直しても食い違いには気づけません。

一方で、AIは「定義が見つからなかったため」と前置きしています。数字だけを見て前置きを読み飛ばさなければ、推測で埋められたことは回答文から判断できます。

会計年度の定義を登録すると、集計期間が10月始まりに変わる

ビジネスナレッジの新規作成から、項目名と内容を入力します。入力するのはこの2つだけで、適用範囲を選ばなければ全社共通になります。

• 項目名: 会計年度の定義
• 内容: 当社の会計年度は10月1日に始まり、翌年9月30日に終わる。2025年度は2025年10月1日から2026年9月30日までを指す。

同じ質問を投げ直すと、回答は「当社の会計年度は10月1日から翌年9月30日までですので、2025年度は2025年10月1日から2026年9月30日までとなります」と登録内容を引用したうえで集計しました。

SELECT SUM("SALES_AMOUNT") AS "売上合計"
FROM STORE_SAMPLE.FACT_SALES
WHERE "ORDER_DATE" >= DATE '2025-10-01' AND "ORDER_DATE" <= DATE '2026-09-30';

結果は43,599,391円で、事前に取った正解値と一致しました。こちらも3回とも同じです。

回答には「現在は2026年8月21日ですので、2025年10月1日から現在までの約10ヶ月間の実績となります」という補足も付きました。登録した年度の区切りをもとに、まだ年度が終わっていないことまで踏まえています。

社内でしか決まっていない定義ではどうなるか

会計年度は、AIが一般論で埋められる定義でした。次は、AIに推測しようがない定義を試します。

データソース画面でテーブルの中身を確認し、閾値を社内で決める必要がある用語を探しました。販売実績テーブルには注文日と発送日、配送方法(当日便・翌日便・通常便・エコノミー便)があるので、出荷遅延から何日以上を遅延とするかを確認してみます。

閾値は実データを見てから決めました。全3,194件のリードタイムは1日から6日に分布しており、5日以上に該当するのは1,118件です。この1,118件を正解値として、生成されたSQLが定義どおりかを件数で確認できるようにしました。

登録前: AIが基準を自分で作り、聞くたびに変わる

ビジネスナレッジが0件の状態で「出荷遅延になっている注文は何件ありますか」と質問しました。

AIは配送方法ごとに標準の日数を想定し、それを超えたものを遅延と判定しました。1回目の回答には「当日便0日、翌日便1日、通常便2-3日、エコノミー便4-5日」を想定すると書かれています。

SELECT COUNT(*) AS "出荷遅延件数"
FROM STORE_SAMPLE.FACT_SALES
WHERE "ORDER_DATE" IS NOT NULL
  AND "SHIP_DATE" IS NOT NULL
  AND (
    ("SHIP_MODE" = '当日便' AND DATEDIFF(day, "ORDER_DATE", "SHIP_DATE") > 0)
    OR ("SHIP_MODE" = '翌日便' AND DATEDIFF(day, "ORDER_DATE", "SHIP_DATE") > 1)
    OR ("SHIP_MODE" = '通常便' AND DATEDIFF(day, "ORDER_DATE", "SHIP_DATE") > 3)
    OR ("SHIP_MODE" = 'エコノミー便' AND DATEDIFF(day, "ORDER_DATE", "SHIP_DATE") > 5)
  );

結果は1,734件でした。

2回目は基準そのものが変わりました。「当日便1日以内、翌日便2日以内、通常便5日以内、エコノミー便7日以内」を標準として、それを超えたものを遅延と判定し、893件と回答しています。3回目は1回目と同じ基準に戻り、再び1,734件になりました。

配送方法ごとに標準日数を割り当てるという考え方は業務的に筋が通っていますし、SQLも丁寧に書かれています。だからこそ、これが誰も決めていない基準であることに気づきにくいと感じました。

出荷遅延の定義を登録すると、3回とも同じ件数になる

会計年度と同じ手順で、社内の定義を1件追加します。

• 項目名: 出荷遅延の定義
• 内容: 出荷遅延とは、注文日から発送日までが5日以上かかった注文を指す。配送方法による区別はしない。

同じ質問を投げ直すと、回答は「ビジネスナレッジによると、出荷遅延は『注文日から発送日までが5日以上かかった注文』と定義されています」と述べたうえで集計しました。SQLも1条件に単純化されています。

SELECT COUNT(*) AS "出荷遅延件数"
FROM STORE_SAMPLE.FACT_SALES
WHERE DATEDIFF(day, ORDER_DATE, SHIP_DATE) >= 5;

結果は1,118件です。事前にリードタイムの分布から求めた正解値と一致しました。3回とも同じ件数です。

3回ずつ試した結果

2つの題材の結果をまとめます。同じ質問でも、ナレッジの有無で結果がどう動いたかが分かります。

ナレッジがないときの外し方は2種類ありました。会計年度のようにAIが一般論を持っている定義では、毎回同じ答えが返ります。数字が安定しているぶん、自社の基準と食い違っていても気づけません。出荷遅延のようにAIが基準ごと組み立てる定義では、893件から1,734件まで841件ぶれました。ぶれるぶん異変には気づけますが、3回のうち2回は同じ値だったので、たまたま2回試して同じ数字が出ると再現性があると誤解しかねません。

注意したいのは、登録なしの回答が間違いというわけではない点です。AIは自分が置いた前提を回答の中で説明しており、その前提のもとでは正しく集計しています。問題は、その前提を社内の誰も決めていないことです。

まとめ

kaimeiのビジネスナレッジが本当に回答を変えるのかを、ナレッジ0件の状態から、会計年度と出荷遅延の2つの題材で確かめました。定義がない状態では、AIは一般的な会計年度を当てはめて回答を返し、出荷遅延では聞くたびに基準を作り直してました。

自社の定義を1行登録するだけで、生成されるSQLがその定義どおりになり、3回とも同じ結果に固定されます。

このようにkaimeiは自社の用語をビジネスナレッジに登録していくことで、AIデータ分析基盤を自社に特化したものへ育てていくことができます。

自社の用語をAIに教えたうえで分析を任せられるか試してみたい方は、サービスページからお問い合わせください！

• kaimeiサービスページ

参照

• kaimei | クラスメソッド