【非エンジニアのためのClaude/Claude Codeシリーズ】 AIを信用しすぎてヒヤッとした話とファクトチェック術 【AI活用基本のキ】
はじめに
こんにちは、さいとーです。
最近、チームの数字まとめも報告資料も、すっかりClaudeにお願いするのが当たり前になってきました。マネージャーの仕事って集計やら資料作りやら細かい作業が地味に多いので、本当に助かっています。
・・が、先日ちょっとヒヤッとすることがありまして。
Claudeに作ってもらった報告資料を、提出する直前になんとなく読み返したんです。
そしたら、数字情報がしれっと間違っていたんですね。
それっぽい達成率、それっぽい前年比。文章としては綺麗に整っているので、パッと見では全然気づけませんでした。
もしあのまま出していたらなかなか困ったことになってたかも知れません。
そこで今回お伝えしたいのはこれです。
Claudeに「任せる」のと、「確かめる」はセットでやろう。
便利だからこそ、信用しすぎないための仕組みを持っておきましょうね、という話です。
AIは「知らないこと」も自信たっぷりに答えてくる
すでに皆さんはご存知かもしれませんが、まず大前提として知っておきたいのが、AIは「知らないこと」も、それっぽく、自信たっぷりに答えてくるということです。
この現象、専門的にはハルシネーション（hallucination）と呼ばれます。
直訳すると「幻覚」です。
要は『分からないところも、もっともらしく埋めてくる』という性質です。
AI のハルシネーションとは、AI モデルが生成する不正確な結果や誤解を招く結果のことです。こうしたエラーは、不十分なトレーニング データ、モデルによる誤った仮定、モデルのトレーニングに使用されるデータのバイアスなど、さまざまな要因によって発生する可能性があります。AI のハルシネーションは、医療診断や金融取引など、重要な意思決定に使用される AI システムにとって問題となることがあります。
引用：https://cloud.google.com/discover/what-are-ai-hallucinations?hl=ja
これはClaudeが優秀じゃないという話ではなくて、AIの仕組み上どうしても起きるものです。なので欠陥として捉えるより、「起きる前提」で付き合うのが正解だと思っています。
そして、私たち営業の仕事だと、これがけっこう怖い形で出ます。次の4つは特に注意したいところです。
営業がファクトチェックすべき4つのポイント
1, 数字
売上、達成率、単価、前年比。報告資料で最重要なため間違ってると痛いところです。経営や上長に出す数字がズレていると、判断そのものを誤らせてしまいます。
2, 固有名詞
企業名、サービス名、メンバー名。微妙に違う名前が混ざることがあります。特にお客様相手の報告や会議の場で間違えると一気に信頼を失うので、ここは本当に怖いです。
3, 出典・引用
「○○社の調査によると」のその調査、本当に存在するかわかりません。
それっぽい調査名やURLが、しれっと創作されていることがあります。
4, 鮮度（いつ時点の情報か）
AIには学習した時点の区切りがあり、古い前提のまま「最新です」という顔で語ってくることがあるので、料金やサービス内容は特に要注意です。
この4つを頭の片隅に置いておくだけで、チェックの精度がぐっと変わります。
やってみた：私のファクトチェック術
1, 最初から「根拠も一緒に出して」とお願いする
出力が終わってから疑うより、最初から根拠とセットで出してもらうほうが安心でした。
この内容をまとめてください。数字や固有名詞には必ず出典を併記して、推測の部分は「※推測」と書いてください。
これだけで、怪しいところが自分から浮かび上がってきます。「※推測」と書いてあったら、そこは必ず自分で確認する、というルールにしています。
2, 怪しいところは、Claude本人に聞き返す
気になる数字があったら、遠慮なく聞き返します。
この「前年比120%」の根拠は？ どのくらい自信ありますか？
そうすると「すみません、これは確かな出典がありません」と白状してくれることがけっこうあります。一度出した答えを、本人にツッコませるイメージです。
3, 外せない数字は、必ず一次情報で確認する
売上やお客様に関わる数字みたいに「絶対に外せないもの」は、社内データ（Salesforceなど）や元の資料と必ず突き合わせます。ここだけは手間を惜しまず正しい情報を取りにいくことをおすすめします。
4, 検証ルールはCLAUDE.mdに仕込んでおく
毎回同じことをお願いするのは面倒なので、前回紹介したObsidianのVaultにあるCLAUDE.mdに、こう書いておきました。
- 数字・固有名詞には出典を明記すること
- 不確かな情報は「※推測」と明記し、断定しないこと
- 最新性が重要な情報は鮮度（いつ時点か）を添えること
こうしておけば、毎回言わなくてもClaudeが最初から検証しやすい形で出してくれます。前回せっかく作った仕組みが、そのまま品質チェックにも効いてくれるわけですね。
Claude＋Obsidianの環境構築記事はこちら。
やってみてわかったこと
- 「全部任せる」より「下書きは任せて、最後の数字だけ自分が握る」。これが一番安全です。
- 疑う仕組みがあると、逆に安心して大胆に下書きを任せられるようになりました。
- 一番効いたのは「最初から根拠を出してもらう」こと。後から疑うより、最初から見えるようにしておくほうが楽に壁打ちできました。
おわりに
Claudeは本当に優秀な相棒なんですが、自信たっぷりに間違えることがある——ここだけは忘れないようにしたいなと思っています。
信用するために、ちゃんと疑う仕組みを持っておく。
「便利だから任せる」と「だからこそ確かめる」をセットにするだけです。
※私も自信たっぷりに道を間違える方向音痴なので、人（AI）のことは強く言えませんが・・
皆さんも、安心してClaudeに任せられる環境を作ってみてください。
生成AI活用はクラスメソッドにお任せ
（※既存記事と同じ定型のCTA・バナーをここに配置）
