![[Claude Code] 自律ループの完了判定は"検証"で行う](https://images.ctfassets.net/ct0aopd36mqt/3KBTm8tdpO9RJJuaVvVzod/a9964bb03097b448b2327edc6920bf9f/Claude.png?w=1200&fm=webp)
[Claude Code] 自律ループの完了判定は"検証"で行う
Introduction
以前、Claude Code で自律ループを作る記事を書きました。
この記事のテーマは主に「ループをどう回すか」でした。
Stop hook で検証ゲートを作って停止条件を決め、
適切にループさせて目的を達成するという内容です。
ループで大事なのは、終了条件です。
いつ「完了」とするかが曖昧だと、ループが早すぎる時点で止ったり、延々と回り続けたりします。
そして終了条件の中身は「検証」です。
条件が「レビューして、問題がなければ完了」だと、判定は意見になります。
意見をいくら集めても、動かして確かめたことにはなりません。
本記事では「どのように判定するか」について解説します。
ここで伝えたいことは以下です。
レビューを繰り返させるのではなく、合否が返るチェックを実施し、実行した証拠を出させる。
ここでいうチェックは、テストやビルドのように、Claude が自分で実行して合否を確かめられるものを指します。
本記事では、Claude Code の公式ドキュメントにある「Give Claude a check to run」と、
Claude Code チームが検証の考え方を紹介した記事をもとに、
前回の記事で作った検証ゲートの中身を整理します。
そのうえで、同じサンプルコードを複数のやり方で
Claude Code に修正させて違いを見てみます。
Verification Methods
ループの終了条件として使える検証にはどんなものがあるか確認してみましょう。
レビューと検証の違い
本記事では、「レビュー」と「検証」を次の意味で使います。
-
レビュー
モデル(または人)が読んで、問題がないかを判断します。返ってくるのは意見です。
もう一度やると、判断が変わることがあります。 -
検証
スクリプトを実行して、結果を見ます。
返ってくるのは合否と出力(終了コード、テスト結果)です。
もう一度実行しても同じ結果になり、あとから出力を読んで確かめられます。
問題にしたいのは「合否を機械判定できるのに、判定を意見に任せてしまうこと」です。
公式ドキュメントは、チェックが無いときに起きることを以下のように説明しています。
Claude は作業が「終わったように見える」時点で止まります。
本当に終わったのかを確かめる手段が無ければ、見た目で判断するしかありません。
その結果、利用者がテストスイートの役を引き受けることになり、
誤りは誰かが気づくまで残ります。
レビューの繰り返しだけでは足りない理由
レビューを繰り返して、正しくなることはあります。
問題は、それで正しくなったことを確かめる手段が無いことです。
理由は以下です。
- 手がかりなしの見直しでは、あまり良くならない
外部からの手がかりなしに、モデル自身に答えを見直させても
改善しないことが報告されています。
2023 年の研究では、算数の文章題(GSM8K)で外部の正解を使わずに 2 回見直させると、GPT-4 の正答率は 95.5% から 89.0% に下がりました。
新しいモデルでは、悪化するかどうかはモデルによって分かれます(研究)。
ただ、伸びはわずかです。
RefineBench では、GPT-5 に手がかりなしで見直しを続けさせても、
スコアは初回の 27.5 から、5 ターン目でも 29.1 にしか上がりませんでした。
どこが悪いかを具体的に伝えると、79.0 まで伸びています。
- コード・ドキュメントを読むだけの自己評価は、甘くなる傾向にある
この研究(NeurIPS 2024)によると、
GPT-4 や Llama 2 は自分が生成した文章をある程度見分けられ、
評価者として自分の出力を高く評価する傾向があります。
今のモデルでも、形を変えて報告されています。
この研究(arXiv、2026 年)では、コーディングエージェントに、自分の作業が成功したかを予測させました。
あるエージェントは、自分の成功確率を 77% と見積もりましたが、実際の成功率は 22% でした。
こちらの研究(arXiv、2026 年)では、出力が条件を満たすかをモデルに判定させています。
満たしていない出力を「満たしている」と誤る確率は、
自らの出力で 50% 以上高くなることがありました。
ただし、こうした偏りが見られないモデルもあります。
Anthropic の 記事:長期稼働アプリケーション開発のためのハーネス設計 も、
エージェントに自分の成果物を評価させると、
凡庸な出来でも自信を持って褒める傾向があると書いています。
- レビューの指摘には、誤検知が混ざる
「問題を探せ」と言われたレビュアーは、必ず何かを見つけます。
これは公式ドキュメントの注意書きです。
見つかった指摘をすべて直していくと、余計な抽象化の層や、
起こりえないケースのためのテストが増えていきます。
※検証でこれに近いことが発生した
実際のプルリクエストを使った評価でも、レビューの指摘の大半は
基準に合わないものでした。
これらはモデルや課題が違う研究なので、そのまま今の Claude Code に当てはまるとは限りません。
ただ、外から具体的な結果を渡すと改善する点は、新しいモデルでも変わっていません。
テストの実行結果は、その代表です。
公式ドキュメント : Give Claude a check to run
Claude が結果を読めるものなら、ほぼ何でもチェックになります。
公式ドキュメントが挙げている例は次の 5 つです。
- テストファイル
- ビルドの終了コード
- linter
- 出力を期待値のファイルと比べるスクリプト
- ブラウザのスクリーンショット
リポジトリにこのどれかがすでにあるなら、
CLAUDE.md にそれを実行するコマンドを書いておくのが
いちばん役に立つと述べられてます。
チェックを組み込む 4 つの方法
チェックを作業に組み込む方法として、公式ドキュメントは次の 4 つを挙げています。
| 方法 | 判定するもの | |
|---|---|---|
| 1 | プロンプトに「テストが通るまで続けて」と記述 | Claude 自身 |
| 2 | /goal で完了条件を設定 |
別のモデルが、ターンごとに条件を満たしたか判定する |
| 3 | Stop hook でスクリプトを実行 | スクリプト。終了コード 2 を返すと、Claude は作業に戻される |
| 4 | /code-review で差分をレビュー |
会話を見ていない、新しいサブエージェント |
3 は前回の記事で扱ったので、本記事の Try では手軽な 1 を使います。
どの方法でも「証拠」を求める
公式ドキュメントがこの節で特に強調しているのが、証拠です。
どの方法を使う場合でも、実行したコマンドとその出力(またはスクリーンショット)を出させるよう勧めています。
理由は「テストは全部通りました」という報告だけでは、ほとんど何も分かりません。
そして、出力を読むほうが、自分でチェックを実行し直すより速く済みます。
見ていなかったセッションでは、それが唯一の証拠になります。
チェックに使えるもの
作業の種類ごとに、チェックに使えるものを挙げます。
| 作業 | チェックに使えるもの |
|---|---|
| ロジックの実装 | ユニットテスト、型チェック(tsc --noEmit、cargo check)、linter |
| バグ修正 | 再現するテスト。直す前に失敗し、直した後に通ること |
| リファクタリング | 変更の前後で、既存のテストが通ること |
| API の実装 | curl で呼んだステータスコードと応答。スキーマ(OpenAPI など)との照合 |
| UI の実装 | スクリーンショットとデザインの比較、E2E テスト(Playwright) |
| 性能の改善 | ベンチマークの結果、ビルド時間など。変更前後の数字を比べる |
| IaC(AWS CDK など) | cdk synth の結果など |
| データ移行・変換 | 移行前後のデータの比較。期待する出力のファイルとの diff など |
| 依存関係の更新 | ビルドとテストが通ること。npm audit などの検査結果 |
どの作業でも使えるのが git diff です。
触ったファイルが頼んだ範囲に収まっているか、テストが書き換えられていないかを確かめられます。
証拠としての強さには違いがあります。強い順に、3 つに分けられます。
- スクリプトが合否を返すもの(ex.テスト、型チェック、ビルド、diff)
判定に、人やモデルの判断が入りません。 - 数値や出力が残り、読めば分かるもの(ex.計測値、
cdk diffの出力、SQL の結果)
判定は読む側がしますが、根拠は残ります。 - 見て判断するもの(ex.スクリーンショット)
その画面になったことの証拠にはなります。ただし「デザインどおりか」は、見た側の判断です。
比較対象(デザインの画像、変更前の画面など)があれば、判断しやすくなります。
できるだけ、機械的に判定できるもの(スクリプトが合否を返すもの)を使います。
ただし、そのスクリプト自体が適切かどうかも重要です。
※後述する「チェックをどう用意するか」にて
Claude Code チームが勧める 3 種類のテスト
Claude Code チームの記事は、力を入れる価値があるテストとして
以下を挙げています。
-
E2E テスト:
ユーザーの操作の流れを通しで確かめます。
E2E テストは機能全体が動くかどうかを見るので、ごまかしにくいとされています。 -
プロパティテスト
「必ず成り立つはずの性質」を書き、ライブラリに大量の入力を作らせて反例を探します。
変換して戻すと元に戻る、残高が負にならない、2 回実行しても結果が変わらない、といった性質です。
ライブラリには fast-check(JS/TS)、Hypothesis(Python)、proptest(Rust)があります。 -
差分テスト
古い実装と新しい実装に同じ入力を与え、結果の違いを調べます。
書き直しや移行で使えます。
記事ではテストよりも、変更したものを実際に動かすことを重視しています。
Web なら Claude in Chrome、モバイルならシミュレーター、
バックエンドならローカルで起動したサービスを使います。
起動の手順は、verify という名前のスキルにして .claude/skills/ に置くよう勧めています。
検証
コード以外でも、同じ考え方が使えます。
Rust の新しいバージョンについて調査した内容を、Claude Code に検証させました。
「レビューして」ではなく、
「ドキュメントのサンプルと主張を、新旧 2 つのバージョンのコンパイラで実際にコンパイルして確かめて」
と依頼しています。
その結果、読むだけでは見つからなかった誤りが、3 種類見つかりました。
- 見た目では分からない、サンプルコードの誤り
- 本文の、事実と違う記述
- 検証の前に Claude 自身がしていた、誤った説明
重要なのは 3 つ目です。
もっともらしい説明は、実行するまで正しいかどうか分かりません。
逆に、「推測」と断っていた記述のいくつかは、実行結果で確定できました。
検証は、誤りを見つけるだけでなく、言い切れる範囲を広げることにも使えます。
チェックをどう用意するか
とはいえ、ちょうどよいチェックが最初からあるとは限りません。
用意するときは以下のように進めるとよいでしょう。
1. すでにあるものを使う
まず、リポジトリにあるものを探します。
テスト、型チェック、linter、ビルドのどれかは、たいていあります。新しく作る前に、
それを実行するコマンドを CLAUDE.md に書きます。
# Verify
- 型チェック: pnpm tsc --noEmit
- テスト(1 ファイル): pnpm vitest run path/to/file.test.ts
- 全部: scripts/check.sh
2. 完了条件を、合否で言える形に言い換える
依頼をそのまま渡すのではなく、
「何が起きたら終わりか」を合否で言える形にします。
| 依頼 | 合否で言える形 |
|---|---|
| ログインのバグを直して | 期限切れのトークンで 401 が返るテストを追加し、それがパスする |
| 一覧の表示を速くして | 1000 件の表示が、ベンチマークで 200ms を下回る |
| この関数を整理して | 既存のテストが変更なしで通り、公開している関数の型が変わらない |
| デザインどおりに作って | スクリーンショットを mockup.png と並べて出す。コンソールのエラーが 0 件 |
言い換えられない依頼もあります(「読みやすくして」など)。
その部分は無理にチェックへ置き換えず、レビューか人の判断に回します。
無理に数値にすると、数値だけを満たす意味のない結果となります。
3. テストは、実装を見せずに仕様から書かせる
チェックが無いなら作ります。AI に書かせてかまいませんが、やり方に注意が要ります。
実装を直すのと同じセッションでテストも書かせると、今の実装の動きに合わせたテストになりがちです。
同じ思い込みが、コードとテストの両方に入ります。
そこで、別のセッション(または別の生成AI)で、仕様だけを見せて書かせます。
効果は、後述の Try で試しています。
4. 修正前にチェックが失敗することを確かめる
チェックそのものにも検証が要ります。
読んで正しく見えるテストが、バグを捕捉していないことがあるためです。
Try で実例が出ました。確かめ方は単純です。
-
バグ修正なら、直す前にテストを実行して、失敗することを見る
通ってしまうなら、そのテストはバグを捕まえていません。 -
新しい実装なら、わざと壊してみる
条件を逆にする、境界の値を 1 ずらす、といった変更でテストが落ちるかを見ます。
これを自動で行うのがミューテーションテスト(Stryker、cargo-mutants など)です。
AIにテストを書かせるときは、「直す前に実行して、失敗した出力を貼ってください」と頼むと、
この確認まで証拠が残ります。
Claude Code チームの記事によると、
チームもチェックそのものを評価しています。実際に問題になったバグをチェックが見つけられるかを測り、
見逃したものはルールとして足し、増えすぎたテストやルールは定期的に整理しています。
5. 1つのコマンドにまとめる
チェックは、1 つのコマンドで実行できるようにします。
Setup で用意する scripts/check.sh がその例です。
-
終了コードで合否を返す
通れば 0、失敗すれば 0 以外にします。
「scripts/check.shが exit 0 で終わるまで」という形で、
プロンプトや/goalの条件に書けます。 -
失敗の理由を出力
Claude は出力を読んで直します。
何が違ったのかが出ないチェックでは、直しようがないので、
ちゃんと理由を出力しましょう。 -
Stop hook で使うときは、失敗を終了コード 2 で返す
exit 1 では Claude の停止は止まらず、そのまま終了できます(Hooks reference)。
チェックが失敗したら理由を標準エラーに出し、exit 2 を返すスクリプトを間に挟みます。
- 結果が毎回同じになるようにする
通ったり落ちたりするテストがあると、エージェントはコードを直す代わりに、
テストを実行し直すことを覚えます(Claude Code チームの記事)。
並列処理だったり同期処理だったり、タイミングに依存する処理のテストは
結果が不安定になったりするので注意しましょう。
-
短い時間で終わらせる
通るまで何度も実行されます。全体のテストが遅いなら、
関係する部分だけを実行するコマンドも用意します。 -
環境による違いを考慮
手元の環境でだけ通るチェックは避けましょう。
例えば、タイムゾーンやロケールのように、環境で結果が変わりうるものは
チェックの中で条件を変えて実行します。
なお、本記事のscripts/check.shは、同じテストをタイムゾーンを 2 つ変えて実行しています。
何回で人に委譲するかも決めておきます。
ちなみにClaude Code チームでは、3 回直してもチェックが通らなければ、
Claude は止まって人を呼びます。
安いチェックを先に実行することも勧められています。
Claude は、プルリクエストを開く前にテスト、ビルド、linter を実行します(同じ記事)。
用意したチェックは、書き換えられにくくします。
Setup に載せた permissions.deny の設定で、ファイル編集ツールによる変更を禁止します。
ただし、Bash から実行したスクリプトがファイルを書き換える経路は残ります。
そのため、実行後に git diff で変更が無いことも確かめます。
テストを変える必要が出たときは、別の作業として人が確認します。
6. チェックで確かめられなかった部分を書き出す
最後に、チェックが確かめていないことを書き出します。
本記事のテストでいえば、
(仕様に書かれていないから)負の金額や、存在しない日付の扱いは確かめていません。
これを書いておくと、チェックが通ったときに
「何が分かって、何が分かっていないか」が明確になります。
分かっていない部分のうち重要なものは、仕様に足してテストにするか、
次に書くレビューに回します。
レビューが必要なケース
チェックで測れないものもあります。
- 仕様どおり作られているか(テストに書かれていない要件。できれば要件をテストにして、チェックへ移す)
- 設計の妥当性
- 変更の範囲が適切か
こういう場面ではレビューが必要になります。
公式ドキュメントが勧めているのは、
漠然と「バグを探せ」と依頼するのではなく
以下のように仕様に対してレビューさせる書き方です。
サブエージェントを使って、この差分を SPEC.md と突き合わせてレビューしてください。
すべての要件が実装されているか、挙げられている境界ケースにテストがあるかを確認してください。
正しさに影響する抜けだけを報告し、スタイルは無視してください。
この依頼文のポイントは以下。
-
比べる相手を指定する(「SPEC.md と突き合わせて」)
基準が無いと、レビュアーは自分の考えで問題を探すのでどういう基準で指摘がくるか不明。
仕様を基準にすると、指摘は「仕様のどこを満たしていないか」に絞られます。
後述するTryセクションでは「問題点を列挙して」と依頼したので、
指摘が仕様の外へ広がっていきました。 -
報告する範囲を絞る(「正しさに影響する抜けだけ」「スタイルは無視」)
絞らないと、名前の付け方や書き方の好みについての指摘が混ざり、重要な指摘が埋没します。
公式ドキュメントも、「スタイルは無視」の指示を外さないよう注意しています。
- 書いた本人ではないレビュアーに見せる(「サブエージェントを使って」)
コードを書いたセッションは、なぜそう書いたかを知っているので、
バイアスがかかった状態で読んでしまいます。
新しいサブエージェントは会話を見ておらず、差分と仕様だけで判断します。
Anthropic の Rajasekaran は、生成する側に自己批判させるより、
独立した評価者を懐疑的に調整するほうがはるかに扱いやすいと書いています。
一方で、モデルが単独でこなせる範囲の作業では、
評価者は不要なオーバーヘッドになったとも報告しています。
※レビュアーを常に置けばよい、というものでもない
Claude Code チームの記事にも、近いことが書かれています。
構造化されたファイルを生成するタスクの社内評価では、別の採点役が基準の一覧に照らして成果物を確かめると、
通常のプロンプトのループに比べてタスクの成功率が最大 10 ポイント上がりました。
一方で、レビュアーを重ねて増やすより、主となる 1 つのレビュアーを REVIEW.md(このコードで何を見るべきかを書いたファイル)で調整するほうがよいとしています。
2 回目以降のレビューには前の回の文脈を渡し、最初から全部を見直させません。
検証の限界
チェックが間違っていれば、意味がない
チェックが通ったことで分かるのは、「チェックが確かめている範囲では正しい」ことだけです。
テストが仕様とずれていれば、Claude はズレたほうに合わせて「通りました」と報告します。
そのため、チェックそのものも確かめます(「チェックをどう用意するか」の 3 と 4)。
テストは「証明」ではない
テストで分かるのは、「試した入力では正しい」までです。
すべての入力で正しいことを示すには形式検証が要りますが、
手間が大きく、日常の開発の全体に使えるものではまだありません。
※本記事で「証拠を出させる」と書き、「証明させる」と書いていないのはこのため
チェックをすり抜けることがある
モデルがテストを書き換えたり、テストだけを通す実装を書いたりすることがあります。
ImpossibleBench という研究は、仕様と矛盾するようにテストを改変した「解けない課題」を作り、
モデルが不正に合格する割合を測りました。
この研究では、対策の効果も調べています。テストを読み取り専用にすると、
本来の成績を保ったまま、テストの書き換えによる合格を防げました。
ただし、特定の入力だけを特別扱いするような別の手口は残ります。
「課題の仕様とテストの矛盾に気づいたら、中断して人に報告する」という選択肢を与えると、
GPT-5 の不正の割合は 54% から 9% に下がったとのこと。
Claude Code チームの記事は、これを原則として挙げています。
変更が、自分を判定するチェックを書き換えられるなら、そのチェックは壊れている、という考え方です。
Claude Code の Code Review は、REVIEW.md をプルリクエストの変更からではなく、
ベースブランチ(またはデフォルトブランチ)から読みます。
証拠はちゃんとREADする
出力を貼らせても、正確に読まなければ意味がありません。
以下を確認しましょう。
- 実行したコマンドは、頼んだとおりのチェックか
- 出力に失敗やスキップが混ざっていないか
- テストやスクリプトが書き換えられていないか(diff使用)
Environment
本記事で検証した環境です。
| 項目 | バージョン |
|---|---|
| macOS | 26.5.2 |
| Claude Code | 2.1.326 |
| Node.js | v24.9.0 |
| モデル | claude-fable-5-2、claude-haiku-5-5 |
Setup
Claude Code と Node.js(v24)のほかに、jq と bash を使います。
ここでは、Claude に直させるサンプルコードと、Claude に渡すチェックを用意します。
実験に使ったコード一式(採点用のテストと、各条件の実行スクリプトを含む)は、GitHub に置いています。
実行する前に、README の「実行する前に」を読んでください。Claude Code が確認なしでコマンドを実行する設定(--permission-mode auto)で、個人の設定も読み込まずに動かします。
サンプルコード
請求金額を計算する小さな TypeScript のモジュールです。
仕様書 SPEC.md と、わざとバグを入れた実装 src/billing.ts があります。
入れたバグは 4 つです。(なるべくパっと見でわかりづらいもの)
| 関数 | バグ | 例 |
|---|---|---|
applyDiscount |
小数の計算の誤差で 1 円少なくなる | applyDiscount(90, 30) が 63 ではなく 62 |
dueDate |
月末の請求日で月がずれる。タイムゾーンで結果が変わる | 2026-07-31 が 2026-08-31 ではなく 2026-09-30 |
installments |
余りを最後の回に足している | installments(1000, 3) が [333, 333, 334] |
topItems |
引数の配列を並べ替えてしまう | 呼び出し元の配列の順序が変わる |
SPEC.md(抜粋)
## applyDiscount(amount: number, percent: number): number
- `amount` から `percent` % を割り引いた金額を返す。`percent` は 0〜100 の整数。
- 1 円未満は切り捨てる。
## dueDate(issued: string): string
- 支払期限は、請求日の翌月の末日とする。
- 引数と戻り値は `YYYY-MM-DD` 形式の文字列。
- 実行する環境のタイムゾーンによって結果が変わってはいけない。
## installments(total: number, n: number): number[]
- `total` を `n` 回の分割払いにする。`n` は 1 以上の整数。
- 各回の金額は `total / n` の切り捨てとし、余りは 1 回目に足す。
- 戻り値の合計は、必ず `total` と一致する。
## topItems(items: Item[], k: number): Item[]
- 金額(単価 × 数量)の大きい順に、先頭から `k` 件を返す。
- 同額の場合は、元の配列での順序を保つ。
- 引数の配列を変更してはいけない。
src/billing.ts(バグ入りの実装)
export type Item = { name: string; unitPrice: number; quantity: number };
export function subtotal(items: Item[]): number {
return items.reduce((sum, item) => sum + item.unitPrice * item.quantity, 0);
}
export function applyDiscount(amount: number, percent: number): number {
return Math.floor(amount * (1 - percent / 100));
}
export function dueDate(issued: string): string {
const date = new Date(issued);
date.setMonth(date.getMonth() + 2);
date.setDate(0);
return date.toISOString().slice(0, 10);
}
export function installments(total: number, n: number): number[] {
const each = Math.floor(total / n);
const result = new Array<number>(n).fill(each);
result[n - 1] += total % n;
return result;
}
export function topItems(items: Item[], k: number): Item[] {
const amount = (item: Item) => item.unitPrice * item.quantity;
return items.sort((a, b) => amount(b) - amount(a)).slice(0, k);
}
渡すチェック
人が仕様から書いたテストと、それを実行するスクリプトです。Try の条件 C で Claude に渡します。
#!/bin/bash
# 2 つのタイムゾーンでテストを実行する。どちらかが失敗したら exit 1。
set -e
cd "$(dirname "$0")/.."
TZ=Asia/Tokyo node --test "test/*.test.ts"
TZ=America/Los_Angeles node --test "test/*.test.ts"
test("applyDiscount: 1 円未満は切り捨て", () => {
assert.equal(applyDiscount(1000, 10), 900);
assert.equal(applyDiscount(90, 30), 63);
});
test("dueDate: 翌月の末日", () => {
assert.equal(dueDate("2026-01-15"), "2026-02-28");
assert.equal(dueDate("2026-07-31"), "2026-08-31");
assert.equal(dueDate("2026-12-31"), "2027-01-31");
});
テストとスクリプトの書き換えは、次の設定で禁止しました(「チェックをどう用意するか」の 5)。
Edit のルールは Write ツールにも適用されます。
{
"permissions": {
"deny": ["Edit(test/**)", "Edit(scripts/**)"]
}
}
Try
3 つの条件
同じサンプルコードを、次の 3 通りで Claude Code(claude -p)に直させます。
| 条件 | やり方 | 判定するもの |
|---|---|---|
| A | チェックを渡さず、終わったら報告させる | Claude の自己申告 |
| B | レビュアーが承認するまで、レビューと修正を繰り返す(最大 5 往復) | レビュアー(別セッションの Claude) |
| C | 合否が返るチェックを渡し、通るまで続けさせ、証拠を貼らせる | スクリプト |
条件 A のプロンプトです。
SPEC.md のとおりに動くように src/billing.ts を直してください。終わったら報告してください。
条件 B では、レビュアーと修正役を別々のセッションにします。
どちらもコードを実行できないように、Bash を使えなくしました。
※判定がレビューだけで決まるようにするため
for i in $(seq 1 5); do
# レビュアー
claude -p "あなたはコードレビュアーです。SPEC.md と src/billing.ts を読んでレビューしてください。コードは実行できません。問題点を番号付きで列挙してください。最後の行には、修正が必要なら CHANGES_REQUESTED、不要なら APPROVED とだけ書いてください。" \
--allowedTools "Read,Glob,Grep" --disallowedTools "Bash,Edit,Write,Agent,Skill,Workflow,NotebookEdit" \
--output-format json > log/review-$i.json
jq -r .result log/review-$i.json > log/review-$i.md
if tail -n 1 log/review-$i.md | grep -Fxq 'APPROVED'; then break; fi
# 修正役:指摘に対応する
claude -p "次のレビュー指摘に対応して src/billing.ts を直してください。コードは実行できません。終わったら報告してください。
$(cat log/review-$i.md)" \
--allowedTools "Read,Edit,Glob,Grep" --disallowedTools "Bash,Write,Agent,Skill,Workflow,NotebookEdit" \
--output-format json > log/fix-$i.json
done
条件 C のプロンプトです。公式ドキュメントの 1 つ目の方法(プロンプトに書く)に、
証拠の要求と、止まって報告するルートを足しています。
SPEC.md のとおりに動くように src/billing.ts を直してください。
scripts/check.sh が exit 0 で終わるまで続けてください。
test/ と scripts/ は変更しないでください。
テストと仕様が食い違っていると判断したら、コードで合わせずに止まって報告してください。
終わったら、最後に実行したコマンドとその出力をそのまま貼ってください。
採点の方法
3 つの条件の結果は、採点用のテストで判定します。採点用のテストはどの条件のプロンプトにも含めず、各条件の実行後に別に使います。
渡したテストより範囲を広くしてあります。
たとえば dueDate は 2026〜2028 年のすべての日付を、
applyDiscount は 11 種類の割引率(0〜100%)それぞれで、0〜3000 円のすべての金額を確かめます。
これを 2 つのタイムゾーンで実行します。
元のバグ入りの実装は、5 つのテストのうち 4 つに失敗します。
結果
各条件を 1 回ずつ、2 つのモデルで実行しました。
- claude-fable-5-2
| 条件 | 採点 | かかった回数 | 時間 | 最終的な行数 |
|---|---|---|---|---|
| A 自己申告 | 全部通過 | 1 回 | 25 秒 | 28 行 |
| B レビューの繰り返し | 全部通過 | レビュー 2 回、修正 1 回 | 66 秒 | 28 行 |
| C チェックを渡す | 全部通過 | 1 回 | 19 秒 | 29 行 |
- claude-haiku-5-5
| 条件 | 採点 | かかった回数 | 時間 | 最終的な行数 |
|---|---|---|---|---|
| A 自己申告 | 全部通過 | 1 回 | 45 秒 | 31 行 |
| B レビューの繰り返し | 全部通過 | レビュー 4 回、修正 3 回 | 158 秒 | 90 行 |
| C チェックを渡す | 全部通過 | 1 回 | 32 秒 | 32 行 |
元の実装は 28 行。
時間は、各セッションの所要時間の合計。
6 回とも、最終的なコードは採点用テストをすべてパスしました。
読むだけのレビュアーは、どちらのモデルでも 1 回目のレビューで 4 つのバグをすべて指摘してます。
採点用テストがパスしたあと、修正が続いた
claude-haiku-5-5 の条件 B を、往復ごと採点。
| 時点 | 採点 | 行数 | レビュアーの判定 |
|---|---|---|---|
| 元の実装 | 4 つ失敗 | 28 行 | CHANGES_REQUESTED(指摘 8 件) |
| 修正 1 回目のあと | 全部通過 | 52 行 | CHANGES_REQUESTED(指摘 5 件) |
| 修正 2 回目のあと | 全部通過 | 81 行 | CHANGES_REQUESTED(指摘 5 件) |
| 修正 3 回目のあと | 全部通過 | 90 行 | APPROVED |
1 回目の修正で、採点用テストはすべて通るようになりました。しかしレビュアーはそれを知る手段を持たないので、指摘を続けました。2 回目以降の指摘は、仕様に書かれていないことが中心です。
- 2 回目:存在しない日付や範囲外の割引率を、例外にすべき
- 3 回目:年が 4 桁にそろっていない(入力が
0099-01-15の場合)。負の金額の扱いが曖昧
3 回目の「年が 4 桁にそろっていない」は、2 回目の指摘に対応するために書き足したコードから生まれた問題です。
指摘に対応したコードが、次の指摘を生んでいます。
最終的なコードは 90 行になりました。仕様に無い入力チェックが 5 つの関数すべてに入り、
長いコメントが付いています。前述の公式ドキュメントの注意書きに近い形です。
ただし、これらの指摘がすべて余計だった、とは言い切れません。
たとえば 0099-01-15 は仕様の YYYY-MM-DD 形式を満たす入力で、
採点用テスト(2026〜2028 年)の範囲の外にあります。
なお、条件 B のレビュアーは毎回新しいセッションで、前の回の指摘を知らずに最初からレビューしています。
先に紹介した Claude Code チームのやり方(前の回の文脈を渡す)とは違います。
これが指摘の広がり方に影響したかどうかは、確かめていません。
claude-fable-5-2 のレビュアーは、2 回目で承認しました。
仕様に無い点(負の金額)にも気づいていますが、「修正不要」と自分で判断しています。
モデルによって止まり方が違う、ということです。
止まるかどうかがレビュアーの判断しだいである点は変わりません。
手元に残る証拠が違う
3 つの条件で、「正しい」と言える根拠として何が残ったかを比較します。
| 条件 | 報告に書かれた根拠 | あとから確かめられるか |
|---|---|---|
| A | 「4 つのタイムゾーンで確認し、すべて通りました」 | 確認用のスクリプトは /tmp に作られ、リポジトリには無い。出力は報告に無い |
| B | 「コードは実行していないので、値はすべて机上計算です」 | レビューの文章を読み直すしかない |
| C | 実行したコマンドと、その出力 | 出力を読めば分かる。scripts/check.sh をもう一度実行できる |
条件 A は、チェックを渡していないのに、どちらのモデルも自分で確認用のスクリプトを書いて実行しています。
チェックがあると先へ進めることを、モデル自身が分かっている様子。
ただし、そのチェックの中身は見えません。claude-haiku-5-5 の報告には、次の一文がありました。
今回の確認ケースでは誤差による不一致は再現しませんでした。
applyDiscount のバグは、自作のチェックでは見つかっていなかったことになります。
コードを読んで気づいて直したので採点用テストは通っていますが、
「確認して、すべて通りました」という報告からは、
そのチェックが何を確かめていたのかは不明です。
条件 C の報告は以下。
bash scripts/check.sh; echo "exit code: $?"
✔ subtotal: 単価×数量の合計 (0.346625ms)
✔ applyDiscount: 1 円未満は切り捨て (0.06175ms)
✔ dueDate: 翌月の末日 (5.670583ms)
✔ installments: 余りは 1 回目、合計は total (0.326792ms)
✔ topItems: 金額の大きい順、同額は元の順、引数は変更しない (0.432917ms)
ℹ pass 5
ℹ fail 0
(同じ内容が TZ=America/Los_Angeles でもう一度)
exit code: 0
何を確かめて、どうなったかが、読めば分かります。
テストとスクリプトが書き換えられていないことも
あとから diff で確認できました。
テストを仕様だけから書かせる
「検証の方法」で、テストは実装を見せずに仕様から書かせると書きました。
これも同じサンプルコードで試しました。
実装のファイルを置かず、SPEC.md だけがある状態で次のように依頼します。
SPEC.md だけを読んで、test/billing.test.ts に node:test のテストを書いてください。
実装はまだありません(../src/billing.ts から import する想定です)。
仕様の各項目と、間違えやすい境界の値を確かめてください。テストは実行しないでください。
できたテストを、バグ入りの実装と、直した実装(Try の条件 C の結果)の両方に対して実施しました。
| モデル | テストの数 | バグ入りの実装 | 直した実装 | 見つけたバグ |
|---|---|---|---|---|
| claude-fable-5-2 | 51 | 15 個失敗 | 全部通過 | 4 つ中 4 つ |
| claude-haiku-5-5 | 36 | 5 個失敗 | 全部通過 | 4 つ中 3 つ |
失敗の数は、タイムゾーンを Asia/Tokyo にしたときのものです。
実装を見ていなくても、仕様から書いたテストは、
入れたバグの大半を見つけました。
claude-haiku-5-5 のテストが見逃したのは topItems の
「引数の配列を並べ替えてしまう」バグです。
テストが無かったわけではなく、以下のテストが書かれていました。
describe('topItems', () => {
const items: Item[] = [
{ name: 'A', unitPrice: 100, quantity: 1 }, // 100
{ name: 'B', unitPrice: 50, quantity: 3 }, // 150
// ...
];
it('金額の大きい順に先頭から k 件を返す', () => {
const result = topItems(items, 2);
// ...
});
// ...
it('引数の配列を変更しない', () => {
const input: Item[] = items.map((i) => ({ ...i }));
const snapshot = structuredClone(input);
topItems(input, 2);
assert.deepEqual(input, snapshot);
});
});
正しいテストに見えますが、バグ入りの実装に当ててもパスしてしまいす。
原因は、テストどうしで items を共有していることです。
先に実行されるテストが topItems(items, 2) を呼び、バグ入りの実装が items を並べ替えます。
「引数の配列を変更しない」のテストが動くころには、items はもう並べ替え済みです。
並べ替え済みの配列をもう一度並べ替えても順序は変わらないので、テストがパスします。
なお、このテストだけを単独で実行すると、失敗しました。
$ node --test --test-name-pattern="引数の配列を変更しない" "test/*.test.ts"
✖ 引数の配列を変更しない (1.350041ms)
✖ topItems (1.722459ms)
ℹ pass 0
ℹ fail 1
テストの名前も中身も一見正しいように見えますが、バグを捕捉できませんでした。
これは読んで見つけたのではなく、バグ入りの実装に当てて
「落ちるはずのテストが落ちない」ことから判明したものです。
この結果の限界
今回の結果は、28 行の小さなコードで、各条件を 1 回ずつ実行しただけのものです。
入れたバグも、読むだけのレビュアーが見つけられる程度でした。
正しさに差が出なかったことも、止まり方や証拠の残り方に差が出たことも、
ほかの条件で同じになるとは限らないので注意してください。
Summary
ループの終了条件をレビューに任せると、
「正しくなったか」を誰も確かめないまま回り続けることがあります。
今回の実験では、どの条件のコードも採点用テストを通りましたが、
レビューの繰り返し(claude-haiku-5-5)では、テストが通ったあとも修正が続き、
実装は 52 行から 90 行に増えました。
合否が返るチェックを渡せば、止まる条件はスクリプトが決め、
実行したコマンドと出力が証拠として残ります。
チェックは、実装を見せずに仕様から作り、バグのある実装で失敗することを確かめてから使います。
チェックで測れない仕様との整合や設計には、基準を渡したうえでレビューを使います。
始めるなら、以下のルールで実施するのが良いかと思われます。
- チェックを実行するコマンドを CLAUDE.md に書く、
- テストの書き換えを禁止する
- 実行した出力を貼らせる
Claude Code チームの記事にある大きな仕組み(チェックリストやコミットを止めるゲート)は、
見逃しの記録がたまってから足しても間に合います。
前回の記事は「検証を本物にすること」と「停止条件を設計すること」が大事だと言いました。
検証を本物にするとは、意見ではなく実行結果で判定し、
その結果を確認できる形式で残すことです。
References
- Best practices for Claude Code(Give Claude a check to run)
- Huang et al., "Large Language Models Cannot Self-Correct Reasoning Yet", ICLR 2024
- Panickssery, Bowman, Feng, "LLM Evaluators Recognize and Favor Their Own Generations", NeurIPS 2024
- Liu et al., "Self-Correction as Feedback Control: Error Dynamics, Stability Thresholds, and Prompt Interventions in LLMs", arXiv 2604.22273
- Lee et al., "RefineBench: Evaluating Refinement Capability of Language Models via Checklists", ICLR 2026
- Kaddour et al., "Agentic Uncertainty Reveals Agentic Overconfidence", arXiv 2602.06948
- Pombal et al., "Self-Preference Bias in Rubric-Based Evaluation of Large Language Models", arXiv 2604.06996
- Zeng et al., "SWR-Bench: Assessing LLM Performance in Real-World Code Review Comment Generation", arXiv 2509.01494
- Prithvi Rajasekaran, "Harness design for long-running application development", Anthropic, 2026-03-24
- Zhong, Raghunathan, Carlini, "ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases", arXiv 2510.20270
- Addy Osmani, "How the Claude Code team thinks about verification", 2026-11-16
- Hooks reference(Exit code 2)
- ループエンジニアリング — Claude Code で自律ループを作ってみる
- 本記事のデモ(nakamura-shuta/examples の check-to-run)







