Fable 5・Opus 4.8・GPT 5.6 SolにProject Eulerの難問を解かせて比較してみた

こんにちは。サービス開発部の武田です。

Claudeの最新モデルであるFable 5とOpus 4.8、そしてOpenAIのGPT 5.6 Solを、Project Eulerの最新問題を使って比較してみました。以前も同じ形式でモデル比較をしたことがあり、今回もその形式で試しました。3モデルをそれぞれreasoning effortのmediumとhighで、2問ずつ解かせています。

最初にお断りしておくと、これは 厳密なベンチマークではありません。試行回数は各設定1回ずつですし、実行環境も完全にはそろっていません。「同じ問題を同じ指示で解かせたらどうなるか」を眺める、ゆるい比較検証です。

またProject Eulerでは、問題101以降の解答や解法を外部で共有しないことが求められています。そのためこの記事で扱うのは正誤・所要時間・モデルの行動の違いだけで、答えの数値や解法の内容には触れません。

検証の設計

問題の選定

Project Eulerの最新問題から2問を選びました。最新問題を使う理由は、学習データやWeb上に解法が存在しないことです。カンニングが構造的に不可能な状態を作れます。

Solved by（正解者数）は難易度の目安になります。公開から数週間経って100人前後というのは、Project Euler全体の中でもかなり難しい部類です。

プロンプトと制約

全モデルに同一のプロンプトを与えました。

この問題解けますか？相談や既存ソースを見るのは全てNGです
https://projecteuler.net/problem=<問題番号>

問題文の取得のみ許可し、解説・フォーラム・他人の解答の閲覧や検索は禁止です。各モデルとも最終報告で「問題文以外は参照していない」と申告しており、最新問題のため実際に参照できる解法も存在しません。

実行環境

いずれもコード実行とWeb取得が可能なエージェント環境です。正誤はProject Eulerサイトへの解答提出で確認しています。

結果

まず数値の見方です。時間とトークンは参考値として載せます。時間は各エージェントの自己計測、トークンはClaude系がoutput_tokens（思考トークンを含む）、GPT 5.6 SolはCodex CLIの報告値で、両者は計測指標が違います。モデルをまたいだ絶対比較には使えないので、同じモデルのmedium/high差を見る用途と考えてください。

Problem 1004（難しめ）

落としたのはOpus 4.8のmediumだけでした。しかも4.3分・8.2Kトークンと、他のどの実行よりも短く切り上げています。同じOpus 4.8でもhighにすると時間・トークンとも3倍前後に増え、正解しました。

mediumのOpus 4.8は、問題文に与えられた小さい検算値は通していたものの、本来数え上げるべき範囲の一部を取りこぼしたまま提出していました。小さい検算をパスするので、その場では誤りに気付けません。あとで触れる998と同じく、検算を通しても最終的な答えが誤り得るという構造です。

Problem 998（最難クラス）

こちらで落としたのはGPT 5.6 Solのmediumでした。約10分で走り切っていますが、方針から機械的に生成した候補の中に「一見正しく見えて実際には条件を満たさないもの」が混じる構造で、その最終検証を省いたまま集計したのが敗因です。しかも問題文の検算用の値の範囲では混入が起きないため、検算はすべてパスしてしまいます。highにすると倍の時間とトークンを検証に投じ、正解に転じました。

一方でClaude系の2モデルは、medium・highのどちらでも998を正解しています。いずれも指示していないのに、独立実装でのクロスチェックや広範囲の総当たり照合を自発的に組み込んでいました。そのぶんOpus 4.8はmediumで168分と、飛び抜けて時間がかかっています。

所感

今回もっともはっきり出たのは、難問で差を分けるのが解法の発見ではなく検証の徹底だという点でした。12回の実行（3モデル×2 effort×2問）で落ちたのは2回、どちらもmediumで、しかも別々のモデル・別々の問題です。Opus 4.8は1004を4分・8Kトークンで切り上げて誤答し、GPT 5.6 Solは998で候補の検証を省いて誤答しました。いずれも問題文の検算値は通るので、その場では気付けません。highにすると両者とも検証に時間とトークンを投じ、正解に転じています。

Claude系の2モデルは、指示していないのに独立実装でのクロスチェックや総当たり照合を組み込む傾向がありました。そのぶん時間はかかります（Opus 4.8は998のmediumで168分）。Fable 5は4回とも正解で、しかもClaude系の中では速い部類でした。GPT 5.6 Solはeffortの効き方が素直で、mediumは短時間で走り切るが検証が薄く、highでしっかり検証を積む挙動でした。コーディングや数理タスクでCodexを使うなら、effort設定は意識しておきたいところです。

998の問題設計にも触れておきます。「与えられた検算値をすべてパスしても誤答になり得る」という構造のおかげで、検証習慣の差がそのまま正誤に現れました。1004も、mediumのOpus 4.8が同じ落とし穴にはまっています。検算が通ることと答えが正しいことは別だと、あらためて感じました。LLMの評価題材としても示唆的です。

繰り返しますが各設定1回ずつのゆるい比較です。とはいえ「最新のProject Euler問題×既存解法の参照禁止」という形式は、モデルの素の数理・実装能力と検証習慣を見るのに手ごろですので、また新しいモデルが出たら同じ形式で試すつもりです。