AI安全性・機械論的解釈可能性を無料で学べるカリキュラム「ARENA」を触ってみた
AI安全性・機械論的解釈可能性を無料で学べるカリキュラム「ARENA」を触ってみた
こんにちは、海江田です。
前回の記事では、機械論的解釈可能性（Mechanistic Interpretability、通称 mech interp）とはどんな分野かを紹介しました。Claude の内部から「ゴールデンゲートブリッジ」という概念に対応する特徴を取り出し、そこを直接操作すると振る舞いそのものが変わる。従来のXAIが外から観察する道具だったのに対し、mech interp はモデルの中のスイッチに触れる道具だ、という話です。
シリーズ「機械論的解釈可能性(mech interp)をやってみる」
- 機械論的解釈可能性(mech interp)とは何か ── Claudeを「橋」に変えた研究の話
- AI安全性・機械論的解釈可能性を無料で学べるカリキュラム「ARENA」を触ってみた ← いまここ
- アテンションヘッドを消しても壊れないGPT-2 ― self-repairの正体を実験で追いかける（準備中）
- 「このヘッドは重要か？」に2つの道具で答えたら、真逆の結論が出た話（準備中）
- SAEのハイパーパラメータの罠 ── 再構成lossが0.0000でも「読める」とは限らない（準備中）
「では実際に何から学べばいいのか」という段になったとき、私が取り組んでいるのが無料カリキュラム「ARENA」です。本記事では、ARENAがどんなカリキュラムなのか、5つの章それぞれで何を扱うのか、どう進めるとよいのかを紹介します。
この記事でわかること
- ARENAがどんなカリキュラムで、何を学べるのか
- 5つの章それぞれで何を扱うのか
- どの順番で進めるとよいか
なお本記事は ARENA や Anthropic の公式コンテンツではなく、個人の非公式な学習記録です。演習文や solutions のコードは転載せず、各章の内容は自分の言葉で要約しています。正確な演習内容は公式サイト・公式リポジトリをご確認ください。
ARENAとは何か
ARENA は、Callum McDougall 氏が作成・運営する、AI安全性と機械論的解釈可能性を学ぶ実践的なカリキュラムです。正式名称は Alignment Research Engineer Accelerator。
GitHub リポジトリには演習ノートブックや solutions が一式公開されており、2026年8月12日時点でスター数1223、フォーク数777とこの分野の教材として広く参照されています。
ARENA の主体は4〜5週間の対面ブートキャンプですが、カリキュラムは全てオンラインで無料公開されており独学にも使えます。対面参加者は最後に Capstone Project（興味を持ったトピックを深掘りする卒業制作）に取り組みます。
対面プログラムは2026年8月時点で8期（ARENA 8.0）まで開催されており、alumniページには過去参加者の進路が具体的に載っています。Google DeepMindやUK AISIでの勤務、MATS・LASR Labsといったフェローシップへの参加、METRと協業するEquistampでのResearch Engineer職など、実例を読むと「無料で受けられる独学教材」という位置づけ以上に、実際に専門職への入口として機能しているプログラムだということが伝わってきます。
カリキュラムは全部で5つの章に分かれており、2026年8月時点ですべて公開済みです。各章の内容をまとめると、以下のようになります。
| 章 | テーマ | セット数 |
|---|---|---|
| Chapter 0: Fundamentals | PyTorch基礎、レイトレーシング、CNN/ResNet、最適化、自動微分の自作、生成モデル | 6 |
| Chapter 1: Transformer Interpretability | Transformer自前実装とmech interp。ARENA最大の章 | 12 + Monthly Algorithmic Problems |
| Chapter 2: Reinforcement Learning | RL基礎、Q学習と方策勾配、PPO、RLHF、MCTS/AlphaZero | 5 |
| Chapter 3: LLM Evaluations | eval設計、データセット生成、Inspect、エージェント、AI Control | 5 |
| Chapter 4: Alignment Science | 解釈可能性にもevalsにも収まらない安全性トピック群 | 5 |
Chapter 1 は本記事のシリーズが主に扱う範囲なので、12セットの内訳も挙げておきます（mech interp そのものの説明は前回の記事をご覧ください）。
- 1.1 Transformers from Scratch
- 1.2 Intro to Mech Interp
- 1.3.1 Linear Probes
- 1.3.2 Function Vectors & Model Steering
- 1.3.3 Interpretability with SAEs
- 1.3.4 Activation Oracles
- 1.4.1 Indirect Object Identification
- 1.4.2 SAE Circuits
- 1.5.1 Balanced Bracket Classifier
- 1.5.2 Grokking & Modular Arithmetic
- 1.5.3 OthelloGPT
- 1.5.4 Superposition & SAEs
Chapter 4 は解釈可能性にも evals にも収まらない安全性トピック群を扱う章で、2026年8月時点で5セットすべて公開済みです。内訳は以下の通りです。
- 4.1 Emergent Misalignment
- 4.2 Science of Misalignment
- 4.3 Interpreting Reasoning Models
- 4.4 LLM Psychology & Persona Vectors
- 4.5 Investigator Agents
なお GitHub の README には「Chapter 1 は最初の2セット以外オプション」とありますが、公式サイトの Chapter 1 ページには必須・オプションの明示は見当たりませんでした。README が更新されていない可能性があるため、本記事では区分を断定しません。気になる方は公式サイトをご確認ください。
どう進めるか
Chapter 0 だけで6セット、Chapter 1 だけで12セットという物量を前にすると、まずどこから手を付けるかで迷うと思います。ここでは、私が実際に辿った順序をもとに、進め方の一案を示します。
着手する順序としては、まず Chapter 0 の最適化（0.3 Optimization）から入るのがお勧めです。wandb を使ったハイパーパラメータ探索など、以降の章で繰り返し出てくる基礎操作にここで慣れておくと、後の章が格段に楽になります。
wandb とは
Weights & Biases の略。機械学習の実験結果やハイパーパラメータを記録・可視化するツールです。
次に Chapter 1 の Transformer 自前実装（1.1）に進み、続けて mech interp 入門（1.2）に取り組みます。1.2 では、induction head の探索、attention head の OV/QK 回路分析、head 同士の composition score の計算などを一通りこなすことになります。
ここまで進めると、Transformer の内部構造への理解がひとつ深まっているはずです。
私自身は現在、Chapter 1 の Superposition & SAEs（1.5.4）に取り組んでいます。演習内の案内に従い、①（superposition の基本）と⑤（SAE による解消）を中心に進めると、疎な条件下で特徴ベクトルが正五角形状に収まるという Anthropic の有名な現象を自分の手で再現できます。
superposition とは
次元数より多くの特徴を、干渉を承知で重ねて詰め込む現象です。
SAE とは
Sparse Autoencoder の略。重なった特徴を1本ずつの軸に分離する装置です。
次は 1.3.3 Interpretability with SAEs に進む予定で、Chapter 2・3・4にはまだ着手していません。
実際にやってみて分かったこと
カリキュラムの目次だけでは掴めない部分を、実際に進めた立場から書いておきます。
前提知識はどれくらい必要か
Chapter 1 に入る時点で、以下が要求されます。
- Python: 必須。ここは前提として扱われます
- PyTorch のテンソル操作: 形（shape）の変化を自分で追える必要があります。
(batch, seq, d_model)のような多次元テンソルが何を表しているかを、都度言葉にできるかどうかで進みやすさが変わります einops/einsum: Chapter 1 では多用されます。初見なら Chapter 0 で慣れておくと楽です- 線形代数: 行列積と内積が「何をしているか」を言葉で説明できるレベル。証明を追う必要はありません
深層学習の理論を先に固める必要はありませんが、テンソルの形を追う訓練だけは先にやっておく価値があります。正直に言うと、私自身が最初につまずいたのもここでした。数式そのものは読めても、einops.rearrange や einsum の中で次元がどう組み替わっているかを頭の中で再現できず、何をやっているのか分からないまま手だけ動かしてしまう時間が続きました。演習で詰まる原因の多くが、数学ではなく形の把握でした。
どうやって動かすか（環境構築は必須ではない）
先に書いておくと、リポジトリを clone しなくても始められます。公式の Setup ページ では3つの方法が提示されていて、最初に挙げられているのが Colab です。
| 方法 | 公式の位置づけ |
|---|---|
| Google Colab | 「環境構築を避けたいならこれ」。各日の演習に Colab ノートブックが2つあり、各演習ページの冒頭にリンクがあります |
| VS Code（空のPythonファイル） | 「対面参加者には強く推奨」 |
| VS Code（ノートブック） | clone した .ipynb を使う方法。コピーを作ってから始めること（そのまま編集すると、git pull で上書きされます） |
さらに、ローカルや無料Colabでは足りない場合に備えて、VastAI・RunPod・Lambda Labs でのGPUレンタル手順まで公式が扱っています。
とりあえず触ってみたいだけなら Colab で十分です。 実際、GitHub の README には clone + install.sh が「Install Instructions」として載っていますが、これは対面参加者を主に想定した手順です。独学で始めるだけなら、ここで止まる必要はありません。
私は手元にコードを残したかったので clone する方を選びましたが、先に Colab で1セット触ってから、続けるかどうかを決めるのが合理的だと思います。
ローカルに入れる場合の注意
clone して進める場合、requirements.txt から手動で入れると一部のパッケージが入りきらないことがあります。実際、1.3.3 で使う sae-lens と sae-vis は requirements.txt に記載があるにもかかわらず、私の環境には入っていませんでした。
章に着手する直前に、その章で使うライブラリを import して確認しておくと、演習の途中で止まらずに済みます。迷ったら公式の install.sh に従うのが無難です。
venv とは
Pythonの仮想環境です。プロジェクトごとに依存パッケージを分離する仕組みです。
Claude Codeと一緒に進める
個人的には、Claude Codeと一緒に演習を進めるのが一番合っていました。分からない箇所をそのまま質問できますし、ARENAの範囲に収まらない疑問が出てきたときも、実際に手元で実験を組んで確認できるからです。
ARENAの演習はJupyter形式でヒントも用意されていますが、それだけでは「なぜこの実装で合っているのか」を突き詰めるところまでは手が届かない場面もあります。そこをコードを書きながら相談できる相手がいるのは大きかったです。このシリーズの3回目以降で紹介する実験の多くも、こうしてARENAの課題から一歩踏み出して確認したものです。
Mac で進める場合
Apple Silicon の Mac でも、torch.backends.mps が使えるので Chapter 1 の範囲は問題なく動きました。1.5.4 のような小さいモデルは、そもそも CPU で十分な速度が出ます。
ただし 1.3.3 では Gemma などの大きめのモデルを扱う節があるため、メモリに余裕がない場合はその節を飛ばす、GPT-2 を使う節に絞る、あるいは前述のGPUレンタルを使う、といった判断が必要になりそうです。
これから始める人へ
まず、Chapter 1 の Transformer 自前実装と mech interp 入門の2セットだけでも Transformer 内部構造への理解はかなり深まります。まずこの2セットを目標にして、その先は興味の向くセットへ進むのがよいと思います。
対面ブートキャンプ参加を考えている場合は、最後の Capstone Project を見据えてトピックにあたりをつけておくのも手です。
また、ARENA には明示的な OSS ライセンスファイルが存在しません（GitHub API 上も license は null です）。演習の答えやコードをそのまま公開・転載するのは避け、本記事のように自分の言葉でまとめる、あるいは自分が書いた実験コードだけを公開するのが安全です。
最後に、Chapter 0 は前提知識として要求されるため、深層学習の基礎に不安があれば飛ばさず触っておくと Chapter 1 以降が理解しやすくなるはずです。
まとめ
ARENA は、機械論的解釈可能性を中心とした AI 安全性の学習カリキュラムとして、無料でここまで体系的にまとまった教材は貴重だと感じています。本来は対面ブートキャンプのプログラムですが、そのカリキュラムがまるごと無料公開されている点は、独学で取り組む立場としてもありがたい限りです。私自身、このカリキュラムを一通り終えたら、ロンドンで開催される対面プログラムにも参加してみたいと考えています。
日本語の紹介記事がまだ少ない分野なので、本記事がその一歩になれば幸いです。
参考リンク
- 公式サイト: https://learn.arena.education/
- 運営組織サイト: https://arena.education/
- GitHubリポジトリ: https://github.com/callummcdougall/ARENA_3.0
- Notion学習リソースページ: https://arena-resources.notion.site/
次回からは、実際に自分で行った実験のログを書いていきます。まずは「アテンションヘッドを1個消してもモデルが壊れない」という話から。
→ アテンションヘッドを消しても壊れないGPT-2 ― self-repairの正体を実験で追いかける（準備中）
