Cloudflare の Clef に書類の種類を分類させてみた

こんにちは、けーまです。

届いた書類を請求書・見積書・注文書のように仕分けるとき、テキストしか受け取れない decision model（TypeSafe の Jevなど）では、先に OCR で文字を取り出す必要がありました。
2026年10月1日に Cloudflare Workers AI で公開された Clef は画像を入力として受け取れるため、OCR を挟まずに画像だけで分類できるかもしれません。

そこで、日本語と英語の架空の書類28枚を Clef に渡して7種類に分類させ、正解率と確信度を確かめてみました。

1. 検証の条件

choice は、選んだ選択肢・選択肢ごとの確率・確信度（confidence）を返す質問の型です（Changelog: Introducing Clef | Cloudflare Docs）。

確率と確信度は、別の値です。

• 確率：書類がその種類である見込み。8個の選択肢の合計が1になり、最も高い種類が回答として選ばれます

• 確信度：その回答をどれだけ迷わずに選べたかの度合い（0〜1）

例えば今回の検証では、ある発注書に対して請求書が 0.435、見積書が 0.3625 と2つの種類の確率がほぼ並び、回答は請求書になったものの、確信度は 0.2384 まで下がりました。
確信度の計算方法は Cloudflare のドキュメントに記載されていないため、本記事では返ってきた値をそのまま使っています。
回答を自動で処理するか人の確認に回すかは、この迷いの度合いがわかる確信度で判断します。

リクエストは次の形です（criteria は8個のうち2個だけ載せています）。

{
  "model": "clef",
  "images": ["data:image/png;base64,..."],
  // state: 判断の前提（添付画像はビジネス書類の1ページ。何の書類か判定せよ）
  "state": "The attached image is one page of a business document. Decide what kind of document it is.",
  "questions": {
    "doc_type": {
      "type": "choice", // 選択肢から1つ選ぶ
      // instructions: 判定の指示（画像に写っているビジネス書類の種類はどれか）
      "instructions": "Which kind of business document is shown in the image?",
      "criteria": {
        // invoice（請求書）：提供済みの商品・サービスの支払いを請求する書類（請求額・支払期日あり）
        "invoice": "Invoice / bill: the seller requests payment for goods or services already provided, with an amount due and a payment deadline.",
        // quotation（見積書）：発注前に価格を提案する書類（通常は有効期限あり）
        "quotation": "Quotation / estimate: the seller proposes prices before an order is placed, usually with a validity period."
      }
    }
  }
}

2. データ

種類は請求書・見積書・領収書・納品書・注文書・契約書・履歴書の7つです。
各種類について日本語だけの書類と英語だけの書類を2枚ずつ用意し、2枚目には次のような紛らわしい要素を入れました。

• タイトルが無い、小さい、または別名（Estimate、Packing Slip、発注書、職務経歴書）

• 本文で別の書類に言及する（請求書の本文に見積書番号、見積書の注意書きに注文書と請求書）

• 業務書類の用語が並ぶ履歴書（請求書や注文書を扱った職務経験）

紛らわしさを入れた例。タイトルが無く、本文で見積書（quotation）の番号に言及している

3. 結果

28枚の特徴と、各モデルの回答、その回答の確率、確信度は次のとおりです（誤りを太字にしています）。

Clef の choice 型は、選んだ回答に加えて「確率」と「確信度（confidence）」の2つの数値を返します。「確率」は全選択肢の合計が 1.0 となる予測確率のうち、選ばれた回答に割り当てられた値です。一方の「確信度」は、モデル自身がその判断にどれだけ自信を持っているかを示す 0〜1 の値です。

3.1 正解率

clef と clef-flash は、どちらも28枚中27枚を正しく分類でき、英語と標準的な書類はすべて正解でした。
外したのはどちらも日本語の紛らわしい書類1枚ずつで、両方のモデルが同じ書類を外すことはありませんでした。

3.2 誤分類した書類

clef が請求書と答えた発注書。見積書・納品書・請求書の3つに本文で言及している

clef-flash が請求書と答えた見積書。タイトルは右上に小さい「お見積り」だけ

clef は発注書を請求書（確率 0.435）と見積書（確率 0.3625）の間で迷っており、本文に書かれた別の書類名に引っ張られたと考えられます。
clef-flash は、タイトルが小さい見積書を請求書と回答してしまいましたが、同じ画像を clef は正しく見積書と答えています。

どちらの誤分類も確信度は正解した書類より明らかに低く、次の節で述べるしきい値でしっかり拾えました。

3.3 確信度の分かれ方

確信度は、56件の回答すべてで、回答の確率よりも低い数値が出ました。
しきい値を 0.8 に設定すると、clef は誤りの1枚だけを、clef-flash は誤りの1枚と正解の1枚を人に回す形になり、自動処理を通した書類に誤りは残りません。
確信度 0.8 未満だけを人が確認する運用にすれば、今回の28枚では誤分類をすべて拾える想定になります。

3.4 時間と費用

時間は日本からの REST API 呼び出しの往復実測値で、換算レートは1ドル150円です。

clef-flash は clef の約3分の1の時間で応答が返り、費用も約4割に抑えられました。

4. まとめ

今回の28枚で試した限り、Clef は OCR を挟まずに画像だけで書類の種類を分類でき、外した書類も確信度の低さで見分けられました。

使い分けとしては、人手での確認に回す枚数を減らしたいなら clef、1枚あたりの処理時間を短くしたいなら clef-flash が向いています。

参考

• Models: clef | Cloudflare Workers AI docs

• Models: clef-flash | Cloudflare Workers AI docs