AI分身の記憶を全部消して、1件ずつ戻して測ってみた──"育つ"は段差で起きる
自分のAI分身の記憶を、全部消してみた。
対象は、私の判断パターンを再現するAIエージェント（ghoost）だ。約3ヶ月かけて、蒸留レポートや判断スタイルの記録といったコンテキストを16件登録してきた。それを一度すべて外して素の状態に戻し、実際に登録した時系列とおなじ順番で1件ずつ戻しながら、毎回おなじ質問セットを投げて応答の変化を記録した。言ってみれば、分身の3ヶ月の"育ち"を、1日で巻き戻して再生する実験である。
なお、実験対象は自分自身のghostであり、消したコンテキストは手元に全部あるので、いつでも元に戻せる。顧客や他者のデータには触れていない。
なぜそんなことをしたのか
「ghoostは使うほど育つ」と、私は商談でもウェビナーでも言っている。だが「育つ」と言った瞬間に、こう聞かれる。「それ、どうやって確かめたんですか」。
もっともな質問だ。日々使っていると確かに"らしく"なっていく感覚はある。しかし感覚は証拠にならない。育ったことを示すには、育つ前と後を同じ物差しで比べる必要がある。ところが普通に運用していると、「育つ前」はもう存在しない。過去の状態は上書きされている。
だから巻き戻すことにした。コンテキストの登録履歴は全部残っている。全部消して、登録順に戻していけば、任意の時点の分身を再現できる。各時点で同じ質問（固定プローブ）を打てば、「コンテキストn件時点の判断」が16点並ぶ。成長の定点観測を、事後的に作り出せるわけだ。
分かったこと①：育ちは、直線ではなく「段差」で起きる
実験前の予想は「1件足すごとに、少しずつらしくなっていく」だった。実際は違った。
多くのコンテキストは、足しても応答が目に見えては変わらない。ところが特定の1件を入れた瞬間に、応答の言い回しと判断の運びがはっきり変わる。それまで一般論だった答えに、固有の言い回しと分岐が急に立ち上がる。なだらかな坂ではなく、階段だった。
段差を作った1件に共通していたのは、手順やコツの記録ではなく、判断の分かれ目を書いたもの——「こういう状況では、あえてこちらを選ぶ。理由はこうだ」という分岐の記録だったことだ。以前の記事で「継承の失敗は情報不足ではなく判断の欠落」と書いたが、その逆側が実測で見えたことになる。分身を育てるのも、量ではなく判断の1件なのだ。
分かったこと②：「変化」「再現度」「精度」を混ぜてはいけない
測っている途中で、自分が3つの別物を混ぜて語っていたことに気づいた。整理するとこうなる。
- 変化（Change）：コンテキストを入れて応答が変わったか。→ プローブで機械的に測れる。今回測ったのはこれ。
- 再現度（Fidelity）：その応答が本人の判断と一致しているか。→ 本人の照合でしか判定できない。変わった＝良くなった、ではない。
- 精度（Accuracy）：その判断が事業的に正しいか。→ そもそも測らない。それは本人と組織の領分であって、ツールが約束することではない。
この3層を分けないと、「AIが育った」という言葉はすぐに誇大広告になる。プローブで測れるのは①だけで、②には本人が要る。③を約束したら嘘になる。だから私は「成長曲線」という言葉を対外的に使うのをやめた。言っていいのは「変化が、本人向きに収束していく」までだ。
分かったこと③：測り方には原則が要る（手法はなんでもいい）
もうひとつの学びは、測定そのものへの反省だ。最初の測定は、私（を手伝うAI）が「何件目の応答か」を知ったうえで判定していた。これは「変わっているはず」というバイアス込みの採点で、厳密には検証と呼べない。
改善の方向は分かっている。判定者に何件目かを伏せる（ブラインド化）、判定を複数系統でとって一致率を見る、LLMの出力揺らぎを分離するために同一条件で複数回測る——ただ、大事なのは個別の手法ではない。固定すべきは**選定（どの質問で何を代表させるか）・検証（判定の独立性）・基準（"変化あり"の定義を事前に決める）・精度（どこまで言い切ってよいか）**の4原則で、手法はそれを満たす交換可能な部品にすぎない。基準と検証のない測定は、どんなに手が込んでいても占いになる。
おまけ：巻き戻しは、育て方も変えた
副産物がひとつあった。測って差分が見えると、分身に何が欠けているかが具体的に特定できる。欠けている箇所を狙って本人（私）に質問を立て、口頭で答え、それを構造化して戻す——というサイクルが回り始めた。やみくもに情報を足すのではなく、測定が次に聞くべきことを教えてくれる。「測ったから、直せるものが特定できた」——これが実験全体でいちばんの収穫だったと思う。
よくある疑問（FAQ）
Q. ghoostとは？
A. ベテランや"あの人"の、言語化されていない判断を、本人と一緒に引き出して組織に残す、本人の判断を再現するAIエージェントサービス。コンテキストの登録・削除は利用者が管理できる。
Q. コンテキストを全部消すのは危なくない？
A. 登録したファイルは手元に残るので、消しても再登録すれば戻せる。今回の実験はそれを逆手に取ったもので、消す→戻すの往復が「任意の時点の再現」を可能にした。
Q. 「段差」はどうすれば狙って起こせる？
A. 手順やコツの量産ではなく、判断の分かれ目（なぜ、この状況で、こちらを選んだか）を1件書くこと。実測上、応答を変えたのはそういうコンテキストだった。
まとめ
- コンテキストを全削除→時系列順に再投入→毎回同一プローブで、AI分身の3ヶ月の育ちを1日で巻き戻して再生した。
- 育ちは直線ではなく段差で起きる。段差を作るのは情報の量ではなく、判断の分かれ目を書いた1件。
- 「変化・再現度・精度」の3層を分けること。プローブで測れるのは変化だけで、再現度には本人が要り、精度は約束しない。
- 測定は選定・検証・基準・精度の4原則が本体で、手法は交換可能な部品。基準のない測定は占いになる。
あわせて
この「育ちをどう測るか」は、9月14日（月）15:00からのウェビナーでも実演を交えてお話しします。
- ウェビナー：なぜ「あの人がいないと、決まらない」のか──本人不在の会議に、本人の判断を置く方法（2026年9月14日 15:00〜16:00／Zoom）
- サービス：ghoost サービスページ
