Cloudflare の Clef で書類の値の突合をさせて、Jev と比べてみた

こんにちは、けーまです。

以前の記事で、TypeSafe の Jev に「2つの書類に書かれた同じ項目の値が一致しているか」を判定させる横突合を試しました（【TypeSafe】Jev で書類項目の突合はどこまでできるか？精度・速度・コストを測ってみた | DevelopersIO）。

書類の突合業務では、例えば請求書と発注書を照合する際に、次のような「人間が見れば同じ値だと分かるが、文字列としては一致しない表記ゆれ」がよく発生します。

• 日付の表記：2026/09/12 と 2026年9月12日、Sep 12, 2026

• 金額や通貨の表記：$1,250.00 と USD 1,250.00

• 取引先名の表記：株式会社サンプル商事 と サンプル商事株式会社、ACME CO., LTD. と Acme Co., Ltd.

これらを単純な文字列比較だけで判定しようとすると、すべて不一致になってしまいます。
かといって正規表現やルールベースで網羅するのは難しいため、LLM などのモデルを使って意味的な一致（semantic）を判定させるアプローチが有効です。

Cloudflare Workers AI の Clef は Jev と API 互換があるため、今回は同じテストデータと同じ質問をそのまま投げて、結果を比較してみました。

1. 検証の条件

• データ：前回と同じ107ケース（日付・金額・取引先名・住所・OCR 誤読・欠損など10カテゴリ）。すべて架空の値で、日本語と英語の両方の表記が含まれます

• 判定の軸：前回と同じ2問。exact（文字列として完全に同じか）と semantic（表記が違っても同じ値を指しているか）を、yes の確率で判定

• 質問文（プロンプト）の言語：モデルに渡す指示・質問文を「英語」にした場合と「日本語」にした場合の2パターンを用意。突合対象のデータ（値A・値B）は同じですが、モデルに与えるプロンプトの言語によって精度に差が出るかを検証します

• 閾値：前回と同じ 0.8。確率が 0.8 以上なら「一致」と判定する

• モデル：clef（27B）と clef-flash（9B）を、英語と日本語の質問文で1回ずつ実行

• Jev：前回（2026年9月20日、jev-1.13.0）の結果を使う

質問文の指示内容やケースの中身は前回の記事と同じです。
なお、前回の実行後にケース 3-6 の正解を修正したため、Jev の結果についても現在の正解に合わせて採点し直しています。

2. 結果

2.1 全体

※ 表中の「英語質問文」「日本語質問文」は、モデルに渡した指示・質問文（プロンプト）の言語を表しています。突合するデータ（値A・値B）自体は日英混在で全条件共通です。

文字列の一致を見る exact では、clef は Jev と同等以上の精度が出ており、英語の質問文では全問正解でした。
一方で、意味的な一致を見る semantic では、clef も clef-flash も Jev より正答数が少なくなりました。

2.2 Clef は確率を控えめに出す

semantic で不正解となったケースの多くは、正解が「一致」であるにもかかわらず、出力された確率が 0.8 に届かなかったものでした。
例えば、まったく同じ文字列同士（完全同一の9ケース）に対して出力された semantic の確率を見ても、Jev が 0.94 以上だったのに対し、clef（日本語質問文）は最小 0.73、clef-flash（英語質問文）は最小 0.57 にとどまりました。

閾値を変えて採点し直した結果は次のとおりです。
2.1 の全体結果（閾値 0.8）と同様に、正答数と「異なる値を誤って一致と判定した件数（誤検知）」を閾値ごとにまとめました。

閾値 0.5

閾値 0.6

閾値 0.7

閾値 0.8（初期値）

clef（英語質問文）は閾値を 0.6 に下げると 97/106 となり、Jev の閾値 0.8 と同等の正答数になります。
ただし、異なる値を誤って「一致」と判定した件数は4件あり、Jev（閾値 0.8）の3件より1件多くなっています。
Jev 向けに設定した閾値をそのまま Clef に適用すると、一致しているはずの項目を不一致と判定しやすくなります。

2.3 費用

clef は Jev よりも入力トークン数が少なかったものの、トークン単価が約6倍のため、全体の費用は約4倍になりました。

2.4 全ケースの確率

3. まとめ

文字列の完全一致（exact）では clef も Jev と同等以上の精度が出ましたが、表記ゆれを吸収する意味的な一致（semantic）では、clef の精度は Jev ほど高くは見えませんでした。

Jev も日本語に公式対応しているわけではありませんが、clef は質問文を日本語にした際の精度の落ち込みが特に大きく、clef を使う場合でもモデルへの質問文は英語で記述したほうが無難だと感じました。

実行速度については、今回の実測では clef のほうが高速でした。
ただし、レスポンス速度はサーバーの混雑状況やネットワーク環境によっても左右されるため、一概に clef のほうが常に速いとは言い切れません。
閾値を設定して確信度の低いデータを人の目による確認へ回すような業務運用を想定すると、出力される確率値の安定性や費用の面からも、現時点の実務運用では Jev のほうが扱いやすいと感じました。