Microsoft の decision model「Microsoft-Decision-1.1」を試してみた:ver1.0 からの進化と画像入力を検証

Microsoft の decision model「Microsoft-Decision-1.1」を試してみた:ver1.0 からの進化と画像入力を検証

Microsoft-Decision-1.1をver1.0と同じ値の突合データで比べました。ver1.1では確率が0か1に偏る癖が直り、中間の値も返すようになりました。違う値を同じと判定する誤りも減り、繰り返し聞いても同じ確率を返します。新たに対応した画像入力も、レシートや請求書の画像で誤りを探す使い方で試しています。
2026.11.18

こんにちは、けーまです。

Microsoft から decision model の新バージョン「Microsoft-Decision-1.1」が登場し、GA となりました。

Microsoft は約1か月前に preview 版の Decision-1 がリリースされていましたが、今回の ver1.1 では速度や確率の精度が向上し、画像入力にも対応したとのことです。

そこで本記事では、Microsoft-Decision-1.1 を ver1.0 と同じデータで動かし、確率の偏り・揺れ・速度を比較したうえで、新機能の画像入力も試してみました(検証日は 2026年11月18日)。
ver1.1 で何が変わったのか、どのような使い方ができるのかを知りたい方の参考になれば幸いです。

1. Microsoft-Decision-1.1 とは

Microsoft-Decision-1.1 は、Microsoft Foundry で提供されている decision model です。
公式ドキュメントによると、テキスト・JSON・画像について焦点を絞った判断を行い、文章ではなく数値の決定を返します。

It makes a focused judgment about text, JSON, or images and returns a typed, numerical decision.

引用元: Deploy and use Microsoft-Decision-1.1 in Microsoft Foundry | Microsoft Learn

質問の型は ver1.0 と同じく、次の3つが用意されています。

  • noul:yes/no の質問。yes の確率を返す

  • choice:決まった選択肢から1つを選ぶ質問。選んだ値と、選択肢ごとの確率を返す

  • score:順序のある段階で採点する質問。段階ごとの確率と、確率で重み付けした点数を返す

1.1 ver1.0 から変わったこと

発表記事に書かれている ver1.0 からの変化をまとめると、次のとおりです。

項目 Decision-1(ver1.0) Decision-1.1
提供段階 preview 版(2026年10月9日) GA(2026年11月17日)
入力 テキスト・JSON テキスト・JSON・画像
速さ - ver1.0 の2倍以上

| 料金(Global Standard、入力100万トークン) | $0.042 | $0.042 |

引用元: Microsoft-Decision-1.1 is now generally available for fast, low-cost decision making | Microsoft・Microsoft-Decision-1 in Microsoft Foundry | Microsoft・Introducing Microsoft-Decision-1 in Microsoft Foundry | Microsoft Community Hub

発表記事によると、ver1.1 は Jev 1.14・Gemini Decision 1・GPT-6 Luna(Decisions)を上回ったとされています。
ベースモデルには、Mixture of Experts 構成の Gemma 4 26B A4B が採用されています。ver1ではQwen3.5ベースでした。

1.2 どこから使えるか

ver1.1 も ver1.0 と同じく、Microsoft Foundry のほか、OpenRouter と Vercel AI Gateway からも呼び出せます。
本記事では、Microsoft Foundry に Global Standard でデプロイして呼び出しました。

Foundry のデプロイの種類と料金は次のとおりです。

デプロイの種類 処理する場所 料金(入力100万トークン)
Global Standard 対応している Azure のリージョンのどこか $0.042
Data Zone Standard(US) 米国の中 $0.046
Data Zone Standard(EU・APAC) EU またはアジア太平洋の中 $0.05

出力トークンはどの種類でも無料です。
Data Zone Standard は ver1.0 のときは米国・EU とも $0.042 だったため、ver1.1 ではどちらも値上がりしています。

引用元: Microsoft-Decision-1.1 is now generally available for fast, low-cost decision making | Microsoft

リージョンの指定はリソースを置く場所の話で、呼び出す側の場所は問いません。本記事のリソースも米国東部(eastus)に置いたまま、日本から呼び出しています。
リソース自体を日本に置く場合は、東日本(japaneast)と西日本(japanwest)のどちらでも、Global Standard と Data Zone Standard の両方を選べました。

呼び出す側は場所を問わず、Foundry リソースのリージョンとデプロイの種類で処理される場所が決まる
リージョンが決めるのは、リソースを置く場所と処理される場所で、呼び出す側の場所は問わない

1.3 デプロイの手順

Foundry のポータル画面からは、次の手順でデプロイを行いました。

  1. Microsoft Foundry を開き、プロジェクトに入る

  2. 左のメニューの 「モデル」 から 「基本モデルをデプロイする」 をクリックする

  3. 「Microsoft-Decision-1.1」 を選び、デプロイ名とデプロイの種類(本記事では Global Standard)を指定してデプロイする

Azure CLI からデプロイする場合は、次のコマンドを実行します。

az cognitiveservices account deployment create \
  --name <YOUR_ACCOUNT_NAME> \
  --resource-group <YOUR_RESOURCE_GROUP> \
  --deployment-name Decision-1.1 \
  --model-name "Microsoft-Decision-1.1" \
  --model-format Microsoft \
  --model-version "1" \
  --sku-name GlobalStandard \
  --sku-capacity 1

リクエストを送る際の model には、モデル名ではなくデプロイ名を指定します。

2. リクエストと応答の形

問い合わせ文1件に対して、どのチームが担当すべきかを判定する choice 形式のリクエスト例です。

curl "<YOUR_FOUNDRY_ENDPOINT>/providers/microsoft/v1/systemone" \
  -H "Content-Type: application/json" \
  -H "api-key: $AZURE_API_KEY" \
  -d '{
    "model": "Decision-1.1",
    "state": "The API returns 500 on every call.",
    "questions": {
      "team": {
        "type": "choice",
        "instructions": "Which team should handle this ticket?",
        "criteria": {
          "billing": "Charges, invoices, and refunds",
          "engineering": "Bugs, errors, and outages",
          "support": "How-to and account questions"
        }
      }
    }
  }'

各パラメータの意味は次のとおりです。

  • model:デプロイ名

  • state:判定の材料となる情報(ここでは「API を呼ぶと毎回 500 エラーが返る」という問い合わせ文)

  • questions.team.instructions:質問文(「この問い合わせはどのチームが担当すべきか」)

  • questions.team.criteria:選択肢ごとに、どんな問い合わせが当てはまるかの説明。billing なら請求・請求書・返金、engineering ならバグ・エラー・障害、support なら使い方やアカウントに関する質問

実際の応答に含まれる answers は次のようになります。

{
  "team": {
    "type": "choice",
    "choice": "engineering",
    "confidence": 0.9998599815228657,
    "probabilities": {
      "billing": 3.953596349963996e-05,
      "engineering": 0.9999066543485772,
      "support": 5.380968792313423e-05
    }
  }
}

この出力は次の3点を示しています。

  • choice: 選択された項目(engineering)

  • confidence: 確信度

  • probabilities: 各選択肢の確率の内訳

つまり、Decision-1.1 は不具合に関する問い合わせだと判断し、確率 0.9999 で engineering チームに振り分けています。
なお、応答の model フィールドには、デプロイ名ではなく microsoft-decision-1.1 が入っていました。

画像を渡す場合は、base64 エンコードした画像データを assets に含め、state や質問文の中から image:<名前> の形式で参照します。

{
  "model": "Decision-1.1",
  "state": "届いた荷物の写真: image:photo.png",
  "assets": {
    "photo.png": {"type": "image", "format": "png", "data_base64": "<BASE64_IMAGE>"}
  },
  "questions": {
    "damaged": {"type": "noul", "instructions": "写真に破損が写っているか。"}
  }
}

3. 値の突合で ver1.0 と比べる

3.1 データとリクエスト

Gemini Decision 1 の横突合の記事と同じく、書類内の項目の値を2つ並べた107件のテストペアを使用しました。
以前の検証では、Gemini Decision 1・Jev・Decisions API に同じペアを判定させ、Jev が最も高い正答率を記録し、Gemini Decision 1 は確率が両端に極端に寄りやすいという傾向が見られました。

テストペアには、以下のような判断に迷いやすいケースを意図的に含めています。

  • 日付の表記揺れ(Sep 12, 2026 と 12/09/2026)

  • 数値の区切り文字の違い(1.250,00 と 1,250.00)

  • 住所の日英表記の違い

  • OCR の誤読(1,25O.00 の英字 O など)

  • 値の欠損表現の違い(空欄・N/A・該当なし)

  • 合計値と明細行の突合(合計 500 KG と 明細: 500 KG / 500 KG)

各ペアに対し、「文字列として完全に同じか」(完全一致)と「表記が違っていても同じ値を指しているか」(意味の一致)の2点を日本語で問い合わせました。
完全一致に関してはどのモデルもほぼ全問正解できたため、本記事では意味の一致の結果を中心に取り上げます。
ver1.0 と ver1.1 には、それぞれ以下のリクエストを送信しています。

{
  "model": "Decision-1.1",
  "state": {"値A": "1,250.00", "値B": "1250"},
  "questions": {
    "exact": {
      "type": "noul",
      "instructions": "値Aと値Bは、文字列として完全に同一か。空白・記号・大文字小文字・全角半角の違いも「同一ではない」と扱う。",
      "criteria": {
        "true": "1文字も違わず完全に同じ",
        "false": "1文字でも違う"
      }
    },
    "semantic": {
      "type": "noul",
      "instructions": "値Aと値Bは、表記が違っていても同じ値を指しているか。これは2つの書類の同じ項目を突合している場面での判断である。片方が明細の羅列で、もう片方が合計値の場合は、明細をすべて足し合わせてから合計値と比べること。",
      "criteria": {
        "true": "書式・言語・単位・略記の違いだけで、指している値は同じ。または明細の合計が合計値と一致する",
        "false": "指している値そのものが違う、または片方にしか値がない。または明細の合計が合計値と一致しない"
      }
    }
  }
}

ver1.0 と ver1.1 はケースごとに交互に呼び出し、全107件を5回ずつ実行しました。
なお、Gemini Decision 1・Jev の確率は Gemini Decision 1 の横突合の記事、10月時点の ver1.0 の確率は10月に行った同じ検証の結果を引用しています。

3.2 指標

  • 正答数:yes の確率が 0.8 以上なら「同じ」と判定し、正解と一致した件数

  • すり抜け:実際には異なる値なのに「同じ」と誤判定してしまった件数(横突合で最も避けたいエラー)

  • 0.2〜0.8 の中間の件数:モデルが確信を持てず迷ったケース。件数が多いほど確率によってグレーゾーンを検知しやすい

  • 応答時間:手元の Mac から計測した、リクエスト送信からレスポンス取得までの所要時間の中央値(ネットワーク往復時間を含む)

3.3 結果

Gemini Decision 1 Jev Decision-1(10月) Decision-1.1
正答数 94/106 100/106 95/106 97/106
すり抜け 3 1 6 2
0.2〜0.8 の中間 10 17 2 16

正解を一意に定義できない1件を除いた、計106件で集計しています。

意味の一致の確率。Gemini Decision 1・Jev・Decision-1(10月)・Decision-1.1
意味の一致の確率(日本語の質問文、106件)。点1つが値のペア1件で、破線は閾値の 0.8

ver1.0 では、実際には異なる値(オレンジ)であっても確率が 0 か 1 に極端に張り付いており、すり抜けた6件はすべて 0.95 以上の高確率を出していました。
それに対し ver1.1 では、Jev と同様に 0.2〜0.8 の中間帯にも値が出るようになり、すり抜けも6件から2件に減りました。
このように中間の確率が返ってくるようになったことで、「確信度が低いグレーなケースだけを人手チェックに回す」といった運用がしやすくなります。

ver1.1 でもすり抜けてしまった2件は以下のとおりです。

ID 値A 値B 違う理由 ver1.0(10月) ver1.1
3-6 1,250.00 1,250.00 USD 片方に通貨がなく、同じ金額と断定できない 1.00 0.995
7-1 INVO1CE INVOICE I と 1 の誤読 0.999 0.972

一方で、ver1.0 で見逃されていた O と 0 の誤読(DOC-O012345 と DOC-0012345 など)や、OSAKA と Osaka-shi, Osaka のように粒度の異なる住所表記については、ver1.1 では正しく「違う」と見分けることができました。

3.4 4回流したときの揺れ

4回同じ内容で流して確率がどの程度変動するかを確認しました。

確率の差の最大 差が 0.01 を超えたケース 判定が変わったケース
Decision-1(ver1.0) 0.10 18件 0件
Decision-1.1 0 0件 0件

ver1.1 は、107件すべてで4回とも完全に同じ確率を返しました。
ver1.0 でもわずかな確率の揺れは見られたものの、閾値 0.8 をまたいで合否判定が覆るようなケースはありませんでした。
今回の検証では、ver1.1 は同じ入力に対して毎回同じ答えを返していました。

3.5 応答速度

応答時間の中央値
Decision-1(ver1.0) 約1.09秒(1,093ms)
Decision-1.1 約1.02秒(1,020ms)

ver1.0 と ver1.1 の応答534回分ずつを比べると、ver1.1 の応答時間は ver1.0 の約0.93倍でした。
発表記事にあった「2倍以上」という劇的な差は、クライアント端末側から計測した全体の応答時間では確認できませんでした。
ただし、今回の計測時間には、手元の PC から米国東部(eastus)のリソースまでの通信と、Global Standard の振り分けの時間が含まれており、サーバー側の処理時間だけを分けては測れていません。

3.6 日本語と英語の質問文

横突合の質問文(instructions・criteria)と state のキー(値A・値B)を英語に変更し、ver1.1 で同じ107件を1回実行してみました。

日本語の質問文 英語の質問文
Decision-1 の正答数 95/106 97/106
Decision-1.1 の正答数 97/106 95/106

日本語と英語の正答数の差は、ver1.0・ver1.1 とも106件中2件だけでした。
ver1.0 は英語、ver1.1 は日本語のほうが2件多く正解しており、どちらが有利という傾向はバージョンによっても大きくは変わっていません。
今回の検証範囲では、日本語でも英語でも精度はそれほど変わらなさそうです。

4. 画像を入れてみる

4.1 書類と質問

Gemini Decision 1 の OCR の記事と同じ5種類の書類データ(日本語レシート2件、英語書類3件)を使用しました。
この記事では、Gemini Decision 1・Jev・Decisions API に書類画像と OCR 抽出テキストを渡し、混入させた誤りを正しく検知できるかを比較しています。

書類 言語 出典・ライセンス
イオン マックスバリュ松山店のレシート(2019年) 日本語 Wikimedia Commons(パブリックドメイン)
キャメルマート秋田八幡平店のレシート(2022年) 日本語 Wikimedia Commons(Yauchi、CC BY-SA 4.0。高さ 1400px に縮小)
論文掲載料の請求書 英語 Wikimedia Commons(パブリックドメイン)
米国 IRS の申告書 Form 1040 のテスト用記入例(2ページ目) 英語 IRS(米国政府の著作物)
マレーシアの書店のレシート 英語 SROIE(ICDAR 2019)(CC BY 4.0)

左からイオン マックスバリュ松山店、キャメルマート秋田八幡平店、マレーシアの書店のレシート
左からイオン マックスバリュ松山店、キャメルマート秋田八幡平店、マレーシアの書店のレシート

左から論文掲載料の請求書、Form 1040 のテスト用記入例の2ページ目
左から論文掲載料の請求書、Form 1040 のテスト用記入例の2ページ目

各書類から5〜6項目の正解テキストを書き起こし、「誤りなし」「誤りA」「誤りB」の3パターンを作成しました。
「誤りA」「誤りB」ではそれぞれ2項目ずつ値をわざと変えており(¥246 → ¥264、マックスバリュ → マックスバリユ など)、書類5件で合計20箇所の誤りを含んでいます。

画像と抽出値のセットをモデルに渡し、項目単位で「画像に印字されている内容と同一か」を判定させました。

{
  "model": "Decision-1.1",
  "state": {
    "task": "OCR でレシートの画像を読み取り、次の項目と値を得た。画像と照らし合わせて確かめる。",
    "extracted": {"store": "マックスバリュ松山店", "total": "¥264"},
    "image": "image:document.jpg"
  },
  "assets": {
    "document.jpg": {"type": "image", "format": "jpeg", "data_base64": "<BASE64_IMAGE>"}
  },
  "questions": {
    "field__total": {
      "type": "noul",
      "instructions": "抽出した「total」の値 \"¥264\" は、画像に印字されている内容と1文字も違わず同じか。空白の数の違いだけは同じとみなす。"
    }
  }
}

評価指標は以下の2点です。

  • 見つけた誤り:混入させた誤り20件のうち、「画像と同じ」の確率が 0.8 未満(正しく誤りと検出できた)だった件数

  • 誤検知:本来正しい値61件のうち、「画像と同じ」の確率が 0.8 未満(誤ってエラーと判定した)になってしまった件数。この値が多いほど、現場で人が再確認する手間が増える

4.2 結果

Gemini Decision 1 Jev Decisions API Decision-1.1
見つけた誤り 19/20 18/20 17/20 17/20
うち日本語のレシート 8/8 8/8 7/8 8/8
うち英語の書類 11/12 10/12 10/12 9/12
誤検知 24/61 11/61 7/61 18/61
入力トークン(平均) 1,749 3,268 2,257 759

Gemini Decision 1・Jev・Decisions API は 2026年11月13日時点の測定データです。

見つけた誤りの数は、4つのモデルとも17〜19件で大きな差はありませんでした。
Decision-1.1 で目立って違うのは誤検知で、61件中18件と、Jev(11件)や Decisions API(7件)より多くなりました。
なお、この誤検知は英語の請求書の請求番号や顧客 ID、マレーシアのレシートの店舗名など、主に英語書類に集中していました。
一方で、1書類あたりの入力トークンは平均759で、料金にすると Jev の約1/4、Decisions API の約1/7に抑えられています。

5. 動画・音声・PDF を送ってみる

ドキュメントを見る限り、画像以外のファイル形式を入力する方法については特に言及されていません。
Foundry のモデルカード上でも、音声と動画は非対応と明記されています。
そこで、Gemini Decision 1 の記事で使用した動画・音声・PDF データを実際に assets に指定してリクエストを投げてみました。

送ったもの type 結果
JPEG の写真 image 受け付けた
MP4 の動画 video asset 'f' must be an image
MP4 の動画 image asset 'f' format must be png, jpg or jpeg
MP3・WAV の音声 audio asset 'f' must be an image
PDF document・file asset 'f' must be an image
PDF image asset 'f' format must be png, jpg or jpeg

動画・音声・PDF はすべて HTTP 400 エラーで弾かれました。
対応する画像形式は公式ドキュメントでは見つけられませんでしたが、エラーの文言にあった png・jpg・jpeg の3つは、実際に送って受け付けられることを確かめました(GIF・BMP は同じエラーで弾かれました)。
PDF をファイルのまま assets に入れて渡すことはできませんでした。

6. 全件の結果

横突合106件における、意味の一致の確率一覧です(日本語の質問文)。
Decision-1.1 は1回目の試行結果を示しており、太字は正解と一致しなかったケースを表します。

全件の結果の表(クリックすると展開します)
ID 値A 値B 正解 Gemini Decision 1 Jev ver1.0(10月) ver1.1
1-1 INV-2026-0912 INV-2026-0912 同じ 0.98 0.98 1.00 1.00
1-2 1,250.00 1,250.00 同じ 0.98 0.98 1.00 1.00
1-3 ACME TRADING CO., LTD. ACME TRADING CO., LTD. 同じ 0.98 0.98 1.00 1.00
1-4 SEAMLESS CARBON STEEL PIPE, OUTER DIAMETER 50MM, WALL THICKNESS 3.5MM, LENGTH 6000MM, SURFACE BLACK PAINTED, PACKED IN WOODEN CRATE, MANUFACTURED UNDER SPECIFICATION JIS G3454 SGP, LOT CONTROLLED, INSPECTION CERTIFICATE ISSUED BY MILL, ORIGIN JAPAN SEAMLESS CARBON STEEL PIPE, OUTER DIAMETER 50MM, WALL THICKNESS 3.5MM, LENGTH 6000MM, SURFACE BLACK PAINTED, PACKED IN WOODEN CRATE, MANUFACTURED UNDER SPECIFICATION JIS G3454 SGP, LOT CONTROLLED, INSPECTION CERTIFICATE ISSUED BY MILL, ORIGIN JAPAN 同じ 0.96 0.98 1.00 1.00
1-5 STEEL PIPE SEAMLESS 50MM STEEL PIPE SEAMLESS 50MM 同じ 0.98 0.98 1.00 0.99
1-6 ACME TRADING ACME TRADING 同じ 0.97 0.97 1.00 1.00
1-7 DOC-O0O12345 DOC-O0O12345 同じ 0.97 0.97 1.00 0.90
1-8 1,250.00 1,250.00 同じ 0.97 0.98 1.00 1.00
1-9 Sep 12, 2026 Sep 12, 2026 同じ 0.98 0.98 1.00 1.00
2-1 2026/09/12 2026年9月12日 同じ 0.98 0.99 1.00 1.00
2-2 12-SEP-2026 2026-09-12 同じ 0.98 0.98 1.00 1.00
2-3 Sep 12, 2026 12/09/2026 同じ 0.56 0.56 0.05 0.60
2-4 令和8年9月12日 2026-09-12 同じ 0.98 0.89 1.00 1.00
2-5 03/04/2026 2026-04-03 同じ 0.20 0.80 0.96 0.57
2-7 2026/09/12 2026/09/13 違う 0.05 0.04 0.00 0.00
2-8 2026/09/12 2025/09/12 違う 0.03 0.02 0.00 0.01
2-9 2026年9月12日 2026年9月12日 同じ 0.99 0.98 1.00 1.00
2-10 12-SEP-2026 12-SEP-2026 同じ 0.98 0.98 1.00 1.00
2-11 令和8年9月12日 令和8年9月12日 同じ 0.98 0.98 1.00 1.00
2-12 2026/09/12 2026/12/09 違う 0.11 0.02 0.00 0.37
2-13 令和8年9月12日 令和7年9月12日 違う 0.04 0.02 0.00 0.00
3-1 1,250.00 1250 同じ 0.96 0.98 1.00 1.00
3-2 USD 1,250.00 $1,250.00 同じ 0.98 0.99 1.00 1.00
3-3 1.250,00 1,250.00 同じ 0.55 0.86 1.00 0.97
3-4 1250.0 1250.5 違う 0.03 0.05 0.00 0.01
3-5 12,500 1,250 違う 0.09 0.05 0.00 0.07
3-6 1,250.00 1,250.00 USD 違う 0.88 0.91 1.00 1.00
3-7 USD 1,250 JPY 1,250 違う 0.03 0.04 0.00 0.04
3-8 500 KGS 500.000 KG 同じ 0.98 0.93 1.00 0.93
3-9 500 KG 1102.31 LBS 同じ 0.94 0.86 0.11 0.65
3-10 10 CTNS 10 CARTONS 同じ 0.96 0.98 1.00 1.00
3-11 USD 1,250.00 USD 1,250.00 同じ 0.99 0.98 1.00 1.00
3-12 1.250,00 1.250,00 同じ 0.98 0.98 1.00 0.98
3-13 500 KGS 500 KGS 同じ 0.98 0.98 1.00 0.99
3-14 1,250.00 USD 1,250.00 USD 同じ 0.99 0.98 1.00 1.00
3-15 1,250.00 1,205.00 違う 0.03 0.02 0.00 0.11
3-16 500 KG 500 LBS 違う 0.03 0.03 0.00 0.17
3-17 10 CTNS 10 PALLETS 違う 0.07 0.21 0.53 0.36
3-18 500.00 KG 50.00 KG 違う 0.04 0.02 0.00 0.11
4-1 ACME CO., LTD. Acme Co., Ltd. 同じ 0.95 0.96 1.00 1.00
4-2 ACME CO.,LTD. ACME CO., LTD. 同じ 0.96 0.96 1.00 1.00
4-3 GLOBEX CORPORATION GLOBEX CORP. 同じ 0.96 0.93 1.00 1.00
4-4 株式会社サンプル商事 サンプル商事株式会社 同じ 0.95 0.86 0.38 0.98
4-5 ACME ACME 同じ 0.97 0.93 1.00 1.00
4-6 ACME TRADING CO. ACNE TRADING CO. 違う 0.11 0.23 0.02 0.32
4-7 Initech Inc. Initech Incorporated 同じ 0.95 0.95 1.00 1.00
4-8 株式会社サンプル商事 株式会社サンプル商事 同じ 0.98 0.98 1.00 1.00
4-9 ACME ACME 同じ 0.99 0.97 1.00 0.98
4-10 GLOBEX CORP. GLOBEX CORP. 同じ 0.99 0.97 1.00 1.00
4-11 Initech Incorporated Initech Incorporated 同じ 0.99 0.98 1.00 1.00
4-12 ACME TRADING CO., LTD. ACME SHIPPING CO., LTD. 違う 0.03 0.16 0.00 0.13
4-13 GLOBEX CORP. GLOBEX HOLDINGS CORP. 違う 0.08 0.31 0.07 0.49
4-14 株式会社サンプル商事 株式会社サンプル物産 違う 0.09 0.20 0.00 0.29
4-15 ACME CO., LTD. ACME CO., LTD. (Taiwan Branch) 違う 0.10 0.24 0.01 0.42
5-1 TOKYO, JAPAN Tokyo Japan 同じ 0.97 0.98 1.00 1.00
5-2 JP JAPAN 同じ 0.94 0.93 1.00 0.99
5-3 OSAKA Osaka-shi, Osaka 違う 0.67 0.67 1.00 0.77
5-4 1-1-1 Sample-cho, Chuo-ku, Tokyo 〒100-0000 東京都中央区サンプル町1-1-1 同じ 0.67 0.97 1.00 0.93
5-5 SAPPORO SENDAI 違う 0.04 0.04 0.00 0.19
5-6 〒100-0000 東京都中央区サンプル町1-1-1 〒100-0000 東京都中央区サンプル町1-1-1 同じ 0.99 0.98 1.00 1.00
5-7 TOKYO, JAPAN TOKYO, JAPAN 同じ 0.98 0.98 1.00 1.00
5-8 JP JP 同じ 0.97 0.97 1.00 1.00
5-9 1-1-1 Sample-cho, Chuo-ku, Tokyo 1-1-2 Sample-cho, Chuo-ku, Tokyo 違う 0.03 0.04 0.00 0.03
5-10 〒100-0000 東京都中央区サンプル町1-1-1 〒101-0000 東京都千代田区サンプル町1-1-1 違う 0.03 0.12 0.00 0.02
5-11 CHUO-KU, TOKYO CHUO-KU, OSAKA 違う 0.04 0.03 0.00 0.03
6-1 STEEL PIPE SEAMLESS 50MM SEAMLESS STEEL PIPE 50MM 同じ 0.96 0.97 1.00 1.00
6-2 STEEL PIPE SEAMLESS 50MM STEEL PIPE SEAMLESS 50MM 同じ 0.97 0.97 1.00 1.00
6-3 STEEL PIPE (50MM) STEEL PIPE 50MM 同じ 0.98 0.97 1.00 1.00
6-4 STEEL PIPE 50MM STEEL PIPE 60MM 違う 0.03 0.03 0.00 0.02
6-5 SEAMLESS CARBON STEEL PIPE, OUTER DIAMETER 50MM, WALL THICKNESS 3.5MM, LENGTH 6000MM, SURFACE BLACK PAINTED, PACKED IN WOODEN CRATE, MANUFACTURED UNDER SPECIFICATION JIS G3454 SGP, LOT CONTROLLED, INSPECTION CERTIFICATE ISSUED BY MILL, ORIGIN JAPAN SEAMLESS CARBON STEEL PIPE, OUTER DIAMETER 50MM, WALL THICKNESS 3.5MM, LENGTH 6000MM, SURFACE BLACK PAINTED, PACKED IN WOODEN CRATE, MANUFACTURED UNDER SPECIFICATION JIS G3454 SGP, LOT CONTROLLED, INSPECTION CERTIFICATE ISSUED BY MILL, ORIGIN KOREA 違う 0.06 0.09 0.11 0.02
6-6 STEEL PIPE (50MM) STEEL PIPE (50MM) 同じ 0.98 0.98 1.00 1.00
6-7 SEAMLESS CARBON STEEL PIPE, OUTER DIAMETER 50MM, WALL THICKNESS 3.5MM, LENGTH 6000MM, SURFACE BLACK PAINTED, PACKED IN WOODEN CRATE, MANUFACTURED UNDER SPECIFICATION JIS G3454 SGP, LOT CONTROLLED, INSPECTION CERTIFICATE ISSUED BY MILL, ORIGIN KOREA SEAMLESS CARBON STEEL PIPE, OUTER DIAMETER 50MM, WALL THICKNESS 3.5MM, LENGTH 6000MM, SURFACE BLACK PAINTED, PACKED IN WOODEN CRATE, MANUFACTURED UNDER SPECIFICATION JIS G3454 SGP, LOT CONTROLLED, INSPECTION CERTIFICATE ISSUED BY MILL, ORIGIN KOREA 同じ 0.95 0.98 1.00 1.00
6-8 STEEL PIPE SEAMLESS 50MM STEEL PIPE WELDED 50MM 違う 0.05 0.09 0.00 0.09
6-9 STEEL PIPE 50MM BLACK STEEL PIPE 50MM GALVANIZED 違う 0.04 0.08 0.00 0.16
6-10 SEAMLESS STEEL PIPE 50MM x 6000MM SEAMLESS STEEL PIPE 50MM x 6600MM 違う 0.03 0.04 0.00 0.01
7-1 INVO1CE INVOICE 違う 0.24 0.73 1.00 0.97
7-2 DOC-O012345 DOC-0012345 違う 0.25 0.61 1.00 0.56
7-3 1,25O.00 1,250.00 違う 0.86 0.73 0.99 0.57
7-4 ACMl ACME 違う 0.45 0.28 0.09 0.45
7-5 DOC-O012345 DOC-O012345 同じ 0.99 0.97 1.00 0.99
7-6 1,25O.00 1,25O.00 同じ 0.97 0.87 1.00 0.82
7-7 INVO1CE INVO1CE 同じ 0.97 0.94 1.00 0.94
7-8 DOC-2026 DOC-2028 違う 0.05 0.04 0.00 0.22
8-1 `` `` 同じ 0.16 0.37 0.04 0.01
8-2 `` 1,250.00 違う 0.01 0.02 0.00 0.00
8-3 N/A `` 同じ 0.09 0.15 0.01 0.03
8-4 - 該当なし 同じ 0.24 0.46 0.99 0.52
8-5 N/A N/A 同じ 0.21 0.51 1.00 0.09
8-6 該当なし 該当なし 同じ 0.37 0.91 1.00 0.89
8-7 N/A 0 違う 0.08 0.08 0.13 0.04
9-1 合計 500 KG 明細: 200 KG / 200 KG / 100 KG 同じ 0.98 0.98 0.96 0.99
9-2 合計 500 KG 明細: 200 KG / 200 KG / 50 KG 違う 0.03 0.40 0.12 0.16
9-3 10 CTNS CTN No.1-10 同じ 0.91 0.88 1.00 0.92
9-4 1 箱 管理番号 ABCD1234567 (1箱) 同じ 0.84 0.92 1.00 0.96
9-5 明細: 200 KG / 200 KG / 100 KG 明細: 200 KG / 200 KG / 100 KG 同じ 0.99 0.98 1.00 1.00
9-6 CTN No.1-10 CTN No.1-10 同じ 0.97 0.98 1.00 1.00
9-7 10 CTNS CTN No.1-9 違う 0.04 0.35 0.12 0.19
9-8 合計 500 KG 明細: 500 KG / 500 KG 違う 0.97 0.56 0.95 0.49
10-1 INV-2026-0912 INV-2026-0912 同じ 0.94 0.96 1.00 1.00
10-2 ACME CO., LTD. ACME CO., LTD. 同じ 0.90 0.95 1.00 0.97
10-3 1,250.00 1,250.00 同じ 0.98 0.98 1.00 0.98
10-4 ACME CO., LTD. ACME CO., LTD. 同じ 0.96 0.95 1.00 1.00
10-5 1,250.00 1,250.00 同じ 0.99 0.98 1.00 0.99
10-6 INV-2026-0912 INV-2026-0912 同じ 0.94 0.98 1.00 0.99
10-7 ACME CO., LTD. ACME CO., LTD. 同じ 0.98 0.98 1.00 1.00
10-8 STEEL PIPE SEAMLESS STEEL PIPE SEAMLESS 同じ 0.98 0.97 1.00 0.99

7. まとめ

Microsoft-Decision-1.1 を、ver1.0 と同じ値の突合データセットおよび Gemini Decision 1 の記事と同じ書類画像を用いて検証しました。

実際に使ってみて良かったと感じた点は2つあります。
1点目は、ver1.0 で顕著だった「確率が 0 か 1 に張り付く」という問題が解消され、Jev のように 0.2〜0.8 の中間帯のスコアも適切に出るようになったことです。
2点目は、同じリクエストを4回繰り返しても完全に一致する確率が返り、結果の揺れがなかった点です。
さらに、日本語の質問文でも英語と同じくらいの精度が出ており、日本語だから使いにくいということはありませんでした。

一方で注意点としては、手元から測った速さは ver1.0 の約1.07倍にとどまり、公式発表されていた「2倍以上」の高速化は体感できなかった点です。ただ、十分にスピードは速いのでそこまで問題ないかとも思っています。
また、画像認識自体は機能しているものの、誤りのない値も「画像と違う」と判定しやすく、誤検知は61件中18件でした。

料金面も Jev と同じ料金で使えるので安くて良いです。処理が国内で完結できるとさらに嬉しいですね。Azureを導入しているユーザーについては Microsoft-Decision-1.1 を検討してもらうと良いと思います。

参考

Microsoft Azure の利用費割引・活用サポート提供中!

クラスメソッドは、Microsoft Azureのうち特に生成AI領域に強みがあります。AWSの総合支援をメインに5,000社以上支援してきた実績をベースに、特にマルチクラウドでビジネスを最大化したいお客様に引き合いを頂いております。

Microsoft Azure 請求代行・技術支援サービスを詳しく見る

この記事をシェアする

関連記事