機械論的解釈可能性(Mechanistic interpretability)とは何か ── Claudeを「橋」に変えた研究の話
機械論的解釈可能性(mech interp)とは何か ── Claudeを「橋」に変えた研究の話
こんにちは、海江田です。
最近、機械論的解釈可能性（Mechanistic Interpretability、通称 mech interp）という分野に興味を持って勉強を始めました。ところが日本語で情報を探しても、まとまった入門記事がほとんど見当たりません。英語の資料は充実している一方、「何から手をつければいいのか」を掴むための日本語情報が不足していると感じました。
そこで、この分野の学習記録をシリーズでまとめていくことにしました。第1回となる本記事では、そもそも mech interp とは何なのかを、Anthropic が実際に Claude の中を覗いて明らかにしたことを例に紹介します。なお本記事はAnthropicなど各社の公式コンテンツではなく、個人で学習中のによる非公式な学習記録です。
シリーズ「機械論的解釈可能性(mech interp)をやってみる」
- 機械論的解釈可能性(mech interp)とは何か ── Claudeを「橋」に変えた研究の話 ← いまここ
- AI安全性・機械論的解釈可能性を無料で学べるカリキュラム「ARENA」を触ってみた（準備中）
- アテンションヘッドを消しても壊れないGPT-2 ― self-repairの正体を実験で追いかける（準備中）
- 「このヘッドは重要か？」に2つの道具で答えたら、真逆の結論が出た話（準備中）
- SAEのハイパーパラメータの罠 ── 再構成lossが0.0000でも「読める」とは限らない（準備中）
この記事でわかること
- 機械論的解釈可能性(mech interp)が、従来のXAI（SHAP・LIME）と何が違うのか
- なぜいまこの分野が注目されているのか（MIT Technology Review の2026年10大ブレークスルー選出）
- モデルの中を実際に覗くと何が見えるのか（Golden Gate Claudeなどの実例）
- この分野がどう発展してきたか
従来のXAIと何が違うのか
SHAPやLIMEに代表される従来型のXAI（説明可能AI）は、学習済みモデルを外側から観察し、「どの入力が出力にどれだけ効いたか」を測定するアプローチです。モデルの内部は基本的にブラックボックスのままで、入力を変えたときに出力がどう変わるかから寄与度を逆算します。
一方で mech interp が問うのは、「モデルの内部で具体的にどんな計算が行われているか」です。ブラックボックスを外側から測るのではなく、箱を開けて中の回路・配線そのものを追いかけるイメージに近いです。同じ「解釈可能性」という言葉を使っていても、見ているレイヤーがまるで違います。
XAI とは
Explainable AI の略。AIモデルが出した予測や判断について、「なぜその結果になったのか」を人間が理解できるようにする考え方・技術・手法の総称です。
SHAP とは
XAIの手法の一つです。各特徴量が予測値をどの方向にどの程度動かしたかを、特徴量の組み合わせを考慮して説明します。網羅的だが計算が重い、という特徴があります。
LIME とは
XAIの手法の一つです。予測対象の近傍データから局所的な代理モデルを作って予測理由を説明します。高速だがデータの作り方で結果がブレやすい、という特徴があります。
なぜいま、この分野を知る意味があるのか
mech interp は、MIT Technology Review の「10 Breakthrough Technologies 2026」（2026年に注目すべき10の技術）の1つに選ばれています。key players として挙げられているのは Anthropic、Google DeepMind、OpenAI、Neuronpedia です。
同記事が挙げている理由は明快で、数億人がチャットボットを使っているのに、その動作原理が不透明なままだ、という点です。中で何が起きているか分からなければ、モデルの限界を掴むことも、なぜハルシネーションが起きるのかを突き止めることも、ガードレールを適切に設けることも難しい。mech interp はもはや学術的な好奇心ではなく、最先端のモデルを安全に本番投入するための前提条件になりつつある、という位置づけです。
AWS を使っている方にとっては、次の2点が距離感を掴む手がかりになるかもしれません。
Amazon SageMaker Clarify との違い
AWS にも説明可能性の機能はあります。SageMaker Clarify は SHAP を使って「どの特徴量が予測をどう動かしたか」を出してくれます。ただしこれは、本記事でいう従来型XAIの側の道具です。mech interp が見ているレイヤーとは別物なので、「Clarify があるからモデルの中身は分かっている」とはなりません。両者は競合ではなく、そもそも問いが違います。
Bedrock で使っている Claude の作り手が、この分野の本家
Amazon Bedrock 経由で Claude を使っている方は多いと思います。その Claude を作っている Anthropic こそ、この分野を牽引してきた当事者です。MIT Technology Review の記事でも、2024年に Anthropic が Claude の内部を覗く「一種の顕微鏡」を作り、Golden Gate Bridge や Michael Jordan といった認識可能な概念に対応する特徴を特定したことが、この分野の転機として紹介されています。
普段 API 越しに触っているモデルの中で何が起きているのか。それを覗く道具が、実際に存在します。
実際に覗くと何が見えるのか
言葉で説明されてもピンと来にくいと思うので、Anthropic の研究が実際に何を明らかにしてきたか、具体例を紹介します。
Golden Gate Claude: 内部のスイッチ1つで、性格が変わる
先ほど、Anthropic が2024年にClaudeの内部からGolden Gate Bridge（ゴールデンゲートブリッジ）という概念に対応するfeature（特徴）を特定した、という話に触れました。話はここで終わりません。
feature(特徴)とは
モデルの内部で、特定の概念に対応して反応する方向のことです。SAE(Sparse Autoencoder)という装置を使うと、こうした特徴を1本ずつ取り出せます。
Anthropicはこの特徴の強さを人為的に10倍まで引き上げてみました。すると、Claudeはあらゆる回答にゴールデンゲートブリッジを絡めるようになりました。「10ドルをどう使う？」と聞けば通行料を払って橋を渡ることを勧め、ラブストーリーを頼めば橋を渡りたがる車の物語を書き、自分の見た目を聞かれれば橋の外観を答える。Anthropicはこれを"Golden Gate Claude"と名付け、2024年5月に24時間限定で一般公開しました。
これが示しているのは、プロンプトでもファインチューニングでもなく、モデルの内部活性化を直接掴んで動かせるということです。SHAPやLIMEは外から観察するだけの道具でしたが、mech interpは中のスイッチに直接触れる道具だということが、この実演からよく分かります。
もっと踏み込んだ例: 詩の事前計画と多段階推論
2025年の"On the Biology of a Large Language Model"では、さらに踏み込んだ発見が報告されています。
韻を踏む詩をClaudeに書かせると、行の冒頭の時点で既に行末の候補単語（"rabbit"、"habit"など）を先読みして活性化させていることが分かりました。次のトークンをその場しのぎで予測しているだけでなく、先を見越して計画しているということです。
また「ダラスを含む州の州都は？」という質問には、内部で一度「テキサス」という中間表現を経由してから「オースティン」を導いていることも確認されました。この中間表現を人為的にカリフォルニアへ差し替えると、答えは正しくサクラメントに変わりました。単なる連想ではなく、多段階の推論が内部で実際に起きている証拠です。
「モデルの中を覗く」というのは、こうした挙動を回路レベルで裏付けていく作業です。私自身がGPT-2 smallを使って行った実験については、シリーズ第3回以降で紹介します。
この分野はどう発展してきたか
mech interp は、Anthropicが transformer-circuits.pub で発表してきた研究を軸に発展してきた分野です。
2021年 "A Mathematical Framework for Transformer Circuits"
Transformerを「回路」として読み解く視座が示されました。アテンションヘッドを個別に取り出して、どのヘッドが何を運んでいるかを追える形に整理した論文です。ここで導入された考え方が、以降の研究の共通言語になりました。
2022年 "Toy Models of Superposition"
「1つのニューロンが複数の意味を持ってしまう」のはなぜかに答えた論文です。次元数より多くの特徴を、干渉を承知で重ねて詰め込む superposition という現象が原因だと示されました。同時に、重なりを解くには「元の次元より多い軸に開き直せばよい」という方針が提示されます。これが次のSAEに繋がります。
2023年 "Towards Monosemanticity"
前年の方針が、SAE（Sparse Autoencoder）という具体的な装置として実装されました。1層のモデルに適用し、重なっていた特徴が実際に1本ずつ取り出せることが示されます。
2024年 "Scaling Monosemanticity"
SAEが実際のClaude 3 Sonnetという製品レベルのモデルに適用されました。冒頭で紹介したGolden Gate Claudeは、この研究の成果です。おもちゃのモデルで動いた手法が、本番のモデルでも動くことが示された段階です。
2025年 "Circuit Tracing" / "On the Biology of a Large Language Model"
個々の特徴を取り出すだけでなく、それらがどう繋がって1つの答えを作るかまで追えるようになりました。本記事で紹介した詩の先読みや多段階推論は、ここで報告されたものです。
mech interp 入門から回路解析、probingやsteering、SAEによる特徴抽出、superpositionの理解まで、こうして積み重なってきた研究の流れそのものが、いまのこの分野の骨格になっています。
これから書いていくこと
このシリーズでは、次回、私が実際に学習に使っている無料カリキュラム「ARENA」を紹介します。mech interp を学ぶための教材として、何を学べるのかをまとめる予定です。
第3回以降では、ARENAを進める中で自分の手を動かして行った実験のログを、結果を含めて書いていきます。
まとめ
本記事では、mech interp が従来のXAI（SHAP・LIME）と何が違うのか、そして実際にモデルの中を覗くとどんな挙動が見えるのかを紹介しました。内部のスイッチ1つで性格が変わったGolden Gate Claude、行末を先読みして計画する詩作、内部の中間表現を経由する多段階推論。ブラックボックスの中に、手で触れる構造が確かに存在することが伝わっていれば幸いです。
本記事が、この分野に興味を持った方の最初の一歩になれば幸いです。
次回は、この分野を学ぶための無料カリキュラム「ARENA」を紹介します。
→ AI安全性・機械論的解釈可能性を無料で学べるカリキュラム「ARENA」を触ってみた（準備中）
