Claude の Web Fetch ツールが最新情報を返すとは限らない話
Claude の Web Fetch ツールはキャッシュを利用してデータを返していることがあるので、AI の調査結果を最新情報と過信しないようにしよう！ という記事です。
経緯
Slack の Block Kit に最近追加された Data table block （メッセージに入れられる表ブロック）を試してみたくなり、仕様の細部や実装方法について Claude に調査してもらっていました。
なるほど、最大 101 行、最大合計 10000 文字といった制約があるようです。
しかし、運悪く調査の半ばで利用上限に達してしまい、続きを ChatGPT にお願いすることにしました。すると予想外のツッコミが返ってきました。
なんと、Claude の示した情報が間違っているとのことです。自分で Slack の公式ドキュメントを確認したところ、ChatGPT の主張「制限は 201 行、20000 文字」の方が正しいようでした。
Claude が間違えて古いページを参照してしまったのでしょうか？
しかし、応答内のリンクを確認しても Claude は正しいページを見ているようですし、モデルを変えて何度か再調査をさせても頑なに「公式ドキュメントには確かに 101 行、10000 文字が上限と書かれている」と言って譲りませんでした。
原因
調査したところ、今回の現象の有力な原因として、Web Fetch ツールのキャッシュが考えられます。
Anthropic の公式ドキュメントを確認すると、Web Fetch ツールは取得したページの内容を自動的にキャッシュしており、返される内容が必ずしも URL 上の最新版と一致するとは限らないと書かれています[1]。
API には "use_cache": false を指定してキャッシュを迂回する手段が用意されていますが、claude.ai（公式 Web サイトでのチャット） ではこの指定を行う手段を見つけられませんでした。
一方で、ChatGPT の Web search ツールではライブ取得が既定で、キャッシュに限定するには明示的な指定が必要な方式でした[2]。今回 ChatGPT の方が最新の情報を取得できていたのは、この仕様によるものかもしれません。
対策
Claude で最新情報の調査を行いたい場合、可能であれば API 経由で "use_cache": false を指定し、キャッシュを迂回するのが確実かと思います。もしくは、今回のように複数の AI ツールにレビューを実施させるのも良さそうです。
また、ありきたりですが、本当に重要な数値は実際に人間の目で確認するのが一番安心ということも実感しました。実装の際などには仕様情報が古いと不具合が出たりすることもあるでしょうし、皆さんは十分気を付けてくださいね。
