画像も読める 120B の MoE「Nemotron 3.5 Super VL 120B-A12B」を DGX Spark で動かしてみた
はじめに
こんにちは、クラスメソッド製造ビジネステクノロジー部の森茂です。
NVIDIA が 10 月 15 日に Nemotron 3.5 Super VL 120B-A12B を公開しました。Nemotron 3.5 の中で一番大きい、画像と動画も読めるモデルです。発表ブログには「DGX Spark、DGX Station、RTX システムで動く」とあり、モデルカードには 1 台の DGX Spark 向けの vLLM レシピが載っています。
同じ日に出た Bolt 74B-A9B は、公開翌日に DGX Spark の llama.cpp で測りました（2026-10-16 時点の記事です）。Super VL のほうは 120B で、NVFP4 の重みだけで 70 GiB あります。128GB の DGX Spark に載るのか、載ったとして 1M トークンのコンテキストが本当に既定のまま起動するのかを早速確かめたくなりました。
先に結論を書いておくと、モデルカードのレシピは書いたまま動き、1M コンテキストの既定のまま 11 分で起動しました。LiLiCorr という外付けのドラフトで単発 38.07 tok/s、外すと 19.06 tok/s です。日本語とツール呼び出しは思考の強さを medium にしたときが一番よく、日本語 9/9、エージェント適性の 6 プローブ全部通過と、これまで同じ課題で測ったどのモデルも届かなかった判定になりました。一方で縦書きの日本語は読めませんでした。
この記事では、公開 2 日後の Nemotron 3.5 Super VL 120B-A12B NVFP4 を DGX Spark の vLLM で動かした結果を紹介します。公式レシピがそのまま動くか、LiLiCorr がどれだけ効くか、そして日本語・コード・ツール・画像を Bolt と Lightning と同じ課題で測ります。
Nemotron 3.5 Super VL 120B-A12B の素性
まず何者かを一次情報で押さえます。数字はモデルカードと config.json、Hugging Face のファイル一覧から取っています。
| 項目 | 値 |
|---|---|
| パラメータ | 120B（アクティブ 12B） |
| アーキテクチャ | Mamba-2 + Transformer のハイブリッド MoE、MoE 層あたり 512 expert、画像は C-RADIO |
| 量子化 | NVFP4（vision encoder、connector、Mamba の畳み込み、埋め込みは BF16、router は FP32 のまま） |
| コンテキスト | 1M トークン |
| 入力 | テキスト、画像、動画（mp4、2 分まで） |
| 対応言語 | 英語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語（post-training の対象言語） |
| ライセンス | OpenMDW-1.1（商用利用可） |
| 推奨サンプリング | テキストは temperature 1.0 / top_p 0.95、画像は temperature 0.6 / top_p 0.95 |
| 配布 | safetensors 88 ファイルで 69.86 GiB、投機デコード用ドラフト LiLiCorr 1.23 GiB |
| 想定する配備先 | 1× DGX Spark、1× H200、2× H100、1× GB200 |
Bolt 74B-A9B がこのモデルから Star Elastic で切り出した子なので、層の数とハイブリッドの骨格は同じです。違うのは expert の数と量子化で、Super VL は 512 expert を NVFP4 で持ち、Bolt は層ごとに expert を間引いて 2 bit まで削っています。1 トークンごとに使う重み（アクティブパラメータ）は Super VL が 12B、Bolt が 9B、別の骨格の Lightning が 3B です。
思考は 3 段です。既定の on、トークンを減らす代わりに精度が落ちることがあるとカードが注記する on (medium)、そして off。medium は chat_template_kwargs に medium_effort: true を渡すだけで、Bolt と同じ作りです。思考と本文は同じ max_tokens を分け合うので、この記事では予算（出力トークンの上限）という言い方をします。
公式ベンチは BF16 と NVFP4 の対照表になっています。カードの数字をそのまま抜きます。
| ベンチマーク | BF16 | NVFP4 |
|---|---|---|
| GPQA-Diamond | 89.52 | 89.90 |
| LiveCodeBench v6 | 88.22 | 87.41 |
| SWE-bench Verified | 71.10 | 71.07 |
| Terminal-Bench 2.1 | 60.67 | 62.78 |
| tau2-bench retail | 69.24 | 69.30 |
| OCRBench v2（英語） | 68.12 | 68.34 |
| MMLU-ProX | 76.91 | 73.76 |
| WebVoyager | 77.72 | 66.31 |
| DeepSWE | 24.65 | 18.2 |
NVFP4 にしてもコードや質問応答はほぼ落ちていません。落ちているのは多言語の MMLU-ProX と、ブラウザやリポジトリを長く操作する WebVoyager と DeepSWE です。日本語の課題と長いエージェント課題でこの差が出るかは、手元で見ることにします。
動かすまで
モデルカードの Quick Start には「この vLLM の設定は DGX Spark（GB10）専用」と明記した起動コマンドがあります。イメージは vllm/vllm-openai:nightly-3f1bcfd82bb2e93fcd364fc7a5491718453a77e2 で、同じコミットの arm64 版が 10 月 15 日に Docker Hub へ push されています。カードには v0.32.0 のタグも書いてありますが、10 月 17 日の時点では Docker Hub にありませんでした。
重みとドラフトを hf download で手元に落とし、レシピの引数をそのまま渡します。
docker run -d --name supervl --gpus all --ipc=host \
-p 127.0.0.1:8000:8000 \
-v "$MODEL_DIR":/model:ro -v "$DRAFT_DIR":/draft:ro \
vllm/vllm-openai:nightly-3f1bcfd82bb2e93fcd364fc7a5491718453a77e2 /model \
--served-model-name nemotron-3.5-super-vl \
--max-num-seqs 1 \
--trust-remote-code \
--gpu-memory-utilization 0.75 \
--max-num-batched-tokens 8192 \
--speculative_config.model /draft \
--speculative_config.num_speculative_tokens 7 \
--speculative_config.method dflash \
--mamba-backend flashinfer \
--mamba-ssm-cache-dtype float16 \
--enable-mamba-cache-stochastic-rounding \
--mamba-cache-philox-rounds 5 \
--enable-mamba-shared-prefix-checkpoint \
--video-pruning-rate 0.5 \
--media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
--block-size 64 --prefix-match-unit 64 \
--enable-auto-tool-choice --tool-call-parser qwen3_coder \
--reasoning-parser nemotron_v3
このレシピには --max-model-len がありません。つまりコンテキスト長は config.json の 1,048,576 がそのまま使われます。128GB の機械で 120B のモデルに 1M の枠を取って起動するのか、ここが一番の見どころでした。
結果は、何も変えずに起動しました。
| 項目 | 値 |
|---|---|
| 起動 | 661 秒（重みの読み込み 343 秒、ドラフト 7 秒、残りはウォームアップ） |
| KV キャッシュ | 1,201,281 トークン分。1M のリクエストを 1.15 本抱えられる計算 |
| ホストの空き | 起動前 116 GiB、測定中は 13〜17 GiB |
| ドラフトなしの KV | 5,084,004 トークン分（1M を 4.85 本） |
起動ログには Maximum concurrency for 1,048,576 tokens per request: 1.15x と出ます。1M の枠に対して余裕が 15% しかないので、--gpu-memory-utilization 0.75 という数字はここを狙って詰めた値に見えます。フォーラムには、画像の同時枚数を増やしたら KV の確保分が足りずに起動を拒否された報告があります（basbunarhasan さん、2026-10-17）。1M のまま使うなら、レシピ以外のものを足さないほうが無難です。NVIDIA のスタッフも同じスレッドで「このレシピは推論以外を何も動かさない前提。同居があるなら 0.7 に下げる」と書いています（eugr_nv さん、2026-10-16）。
カードの中で 1 か所、数字が食い違っています。配備先の一覧表には「1× DGX Spark / vLLM / 1M コンテキスト / MTP で 5 ドラフトトークン」とあります。一方、Quick Start のコマンドは LiLiCorr の DFlash で 7 トークンです。カードの説明文は「DGX Spark では全場面で LiLiCorr を推奨」としているので、Quick Start の側を正として測りました。内蔵 MTP は今回は試していません。
起動ログで確かめておきたい行は 3 つあります。ドラフトが読まれたことを示す Resolved architecture: LiLiCorrDraftModel、投機の設定 SpeculativeConfig(method='dflash', model='/draft', num_spec_tokens=7)、そして上の KV キャッシュの行です。あわせて /metrics の vllm:spec_decode_num_drafts_total がリクエストのたびに増えることを見ておくと、投機が載っていないのに動いている事故を防げます。
測定条件
速度の章は、レシピ逐語の 1 シーケンス起動で測りました。それ以外の章は、他のモデルと揃えた起動です。--max-model-len 131072 --max-num-seqs 8 --max-num-batched-tokens 8192 --kv-cache-dtype fp8_e4m3、--gpu-memory-utilization 0.75、投機なし、イメージは同じです。131,072 はモデルカードの TensorRT-LLM 向け Spark 設定にある max_seq_len に揃えました。起動は 607 秒、KV キャッシュは 2,783,188 トークン分です。
サンプリングは推奨値の temperature 1.0 / top_p 0.95 で、予算は 8,192 を基本にし、打ち切りが出た課題だけ 16,384 の行を別に足しています。画像の課題も Bolt と条件を揃えるためテキストの推奨値で測っています（カードの画像向け推奨は temperature 0.6）。
比較対象は、同じ Nemotron 3.5 の Bolt 74B-A9B 24GB（2 bit、llama.cpp）と Lightning 30B-A3B（NVFP4、vLLM）です。Bolt は llama.cpp で測った値なので速度は並べず、品質の判定だけを並べます。思考の強さはどちらも high、予算も同じ 8,192 です。Lightning はツール呼び出しとエージェント適性を 4,096 の予算で測っているので、その列には注記を付けます。
測定中は nvidia-smi の温度・電力・スロットルの理由と、/sys/class/thermal の一番熱いゾーンを 5 秒ごとに記録しました。
速度
まずレシピ逐語の 1 シーケンス起動で、LiLiCorr の効きを見ます。強制長 256 トークン、temperature 0 で 3 回測った中央値です。
| 構成 | 単発 tok/s | TTFT（秒） |
|---|---|---|
| 投機なし | 19.06 | 0.264 |
| LiLiCorr あり（先読み 7 トークン） | 38.07 | 0.328 |
2.0 倍です。ドラフトの受理率（先読みした候補のうち本体が採用した割合）は /metrics の差分で読めて、この短い固定文では 43%、1 回の検証で平均 3.0 トークン進んでいました。Bolt の LiLiCorr が 35% で 1.56 倍だったのに対して、Super VL のほうが受理率も倍率も高く出ています。
同じ起動で、長い入力を読ませたときの振る舞いも測りました。合言葉を埋めた長文（needle test）を 16K、32K、64K トークンで作り、思考を切って 512 トークンを強制長で書かせています。
| 入力トークン | TTFT（秒） | prefill tok/s | decode tok/s | 合言葉 |
|---|---|---|---|---|
| 16,397 | 7.5 | 2,184 | 91.9 | ○ |
| 32,809 | 14.7 | 2,227 | 90.6 | ○ |
| 65,487 | 30.6 | 2,138 | 64.6 | ○ |
prefill は 2,100〜2,200 tok/s で一定なので、64K を読ませると最初の応答まで 30 秒です。decode は 16K と 32K で 90 tok/s 台と、短文の 38 tok/s より速くなっています。これは投機の受理率が 83〜85% まで上がったためで、合言葉を探す課題は出力が定型になりやすく、ドラフトが当たりやすい条件です。この decode の値を日本語の対話にそのまま期待しないでください。
熱の話もここに書きます。NVIDIA のフォーラムには、同じレシピで 32K 以上の入力を流すと電源が落ちたという報告があります（ronspie314 さん、2026-10-15）。続報では、GPU が 81〜85 °C のとき /sys/class/thermal の一番熱いゾーンは 93〜96 °C を示していたそうです（basbunarhasan さん、2026-10-17）。自分の個体では、64K までの全行程で GPU の最高が 77 °C、ゾーンの最高が 83.3 °C、電力の最大が 82 W で、スロットルは一度も立ちませんでした。64K より長い入力は流していないので、長い入力を連続で流す人は GPU だけでなくゾーンの温度も見ておくと安心です。
同時実行数を変えた側は、他のモデルと揃えた 8 シーケンス起動、投機なしで測っています。
| 同時実行 | 1 本あたり tok/s | 合計 tok/s | TTFT（秒） |
|---|---|---|---|
| 1 | 19.18 | 19.18 | 0.218 |
| 2 | 16.07 | 31.15 | 0.483 |
| 4 | 13.33 | 52.05 | 0.461 |
| 8 | 10.12 | 79.32 | 0.516 |
単発は 19.18 tok/s で、1M の起動で投機を外したときの 19.06 とほぼ同じです。コンテキストの枠を 1M にしても 131K にしても単発の速さは変わらない、というのは覚えておいてよい事実でした。8 本同時で合計 79 tok/s、1 本あたり 10 tok/s です。Lightning は同じ条件で単発 79.59 tok/s、8 本合計 331.97 tok/s でした。アクティブ 3B と 12B の差がそのまま出ています。
日本語
日本語 10 課題を投げました。予算は 8,192、思考は high です。判定は、文字数や必須語の有無、JSON がパースできるか、といった機械で確かめられる条件で採点しています。Bolt の列は 10 月 16 日の記事と同じ値です。
| 課題 | Super VL（high） | 消費トークン | 思考の長さ | Bolt（high） |
|---|---|---|---|---|
| 50 字以内で答える | ○（26 字） | 878 | 1,027 | ○ |
| 自由記述 | ○ | 604 | 635 | ○ |
| コード生成 | ○ | 128 | 473 | ○ |
| 数値推論 | ○ | 412 | 296 | ○ |
| 語彙制約 | ○（181 字） | 1,046 | 1,226 | ○ |
| JSON 整形 | ○ | 306 | 685 | ○ |
| 固有名詞つき要約 | ×（本文なし） | 8,192 | 11,432 | ×（本文なし） |
| 図表の書き起こし | ○（5/5） | 1,336 | 3,033 | ○（5/5） |
| 敬語への言い換え | ○（5/5） | 382 | 566 | ○（5/5） |
| 長文からの抽出 | ○（4/4） | 648 | 1,586 | ○（4/4） |
| 機械判定の合計 | 8/9 | 8/9 |
自由記述は機械で採点できないので合計から外しています。
high の判定は Bolt と同じ 8/9 で、落とした課題も同じ固有名詞つき要約でした。11,432 字考えたところで 8,192 の枠を使い切り、本文が出ていません。予算を 16,384 に広げた行も測りましたが、今度は 23,447 字考えて再び枠が尽きました。この課題は Lightning も Bolt も同じ落ち方をしていて、Nemotron 3.5 の high はここで思考が止まらない癖があるようです。他の 9 課題は 16,384 でも判定が変わりませんでした。
思考の強さを変えた行を見ると、話が変わります。
| 条件 | 機械判定 | 消費トークン合計 | 10 課題の所要 | 落とした課題 |
|---|---|---|---|---|
| high（既定） | 8/9 | 13,932 | 737 秒 | 固有名詞つき要約（8,192 の枠を使い切る） |
| medium | 9/9 | 8,075 | 427 秒 | なし |
| off | 7/9 | 1,003 | 56 秒 | 50 字制約（53 字）、固有名詞つき要約（6 語中 5 語） |
medium で 9/9 です。high が枠を使い切った固有名詞つき要約を、medium は 6,360 字の思考で 6 語すべて残した 159 字の要約に収めました。消費トークンは high の 6 割、所要は 7 分で、判定は上です。Bolt の medium は 8/9 で、固有名詞を 6 語中 4 語しか残せなかったので、Super VL の 12B がここで差をつけた形です。
思考を切ると 56 秒で 10 課題が終わる代わりに、50 字制約を 53 字で破り、固有名詞も 1 語落とします。Bolt と Lightning でも同じで、思考は指示を守るために使われています。自由記述を目で読むと、medium と high はリモートワークのメリットとデメリットを 2 つずつ、見出しと箇条書きで整えて返し、off は同じ内容を短く返しました。どれも日本語としては自然で、2 bit の Bolt のときに感じた「壊れていない」より一段上の、普通に読める文章です。
コードを書かせる
日本語の仕様書からゼロで書かせる 5 問と、バグの入ったミニリポジトリを修正させる課題の 2 本立てです。採点はこちらで pytest を回して判定し、モデルの自己申告は使いません。
仕様からゼロで書く
| 問題 | Super VL | 所要（秒） | Bolt | Lightning |
|---|---|---|---|---|
| slugify | ○ 11/11 | 62.6 | ○ 11/11 | ○ 11/11 |
| parse_duration | ○ 16/16 | 150.3 | ○ 16/16 | ×（予算切れ） |
| merge_intervals | ○ 8/8 | 36.7 | ○ 8/8 | ○ 8/8 |
| group_by_month | ○ 6/6 | 27.5 | ○ 6/6 | ○ 6/6 |
| top_k_frequent | ○ 8/8 | 32.3 | ○ 8/8 | ○ 8/8 |
| 合計 | 5/5 | 5/5 | 4/5 |
5 問 49 テスト全通過です。Bolt と同じ結果で、Lightning が予算切れで落とした parse_duration（「1h30m」のような文字列を秒に直す問題）も 150 秒で解いています。ここは Super VL と Bolt で差がつきませんでした。
既存のバグを直す
12 個のテストのうち 5 個が失敗するミニリポジトリを渡して、ファイル読み書きのツールだけで直させる課題です。
| モデル | 修正 | ターン数 | ツール呼び出し | 所要（秒） |
|---|---|---|---|---|
| Super VL | 5/5 | 6 | 14 | 99.7 |
| Bolt | 5/5 | 5 | 11 | 43.0 |
| Lightning | 5/5 | 13 | 12 | 33.6 |
3 つとも 12 テスト全通過まで持っていきます。Super VL は 6 ターンで直し切り、壊れた呼び出し（パースできない出力）は 0 件でした。所要の 99.7 秒は単発 19 tok/s の遅さがそのまま出ていて、Bolt の 2 倍かかっています。1 ターンで進む量は Bolt と同じくらいで、Lightning の 13 ターンの半分です。
ツールとして使えるか
エージェントの部品として使えるかを見ます。ツール呼び出しの形式は Bolt、Lightning と同じ XML で、vLLM 側は --tool-call-parser qwen3_coder が OpenAI 互換の JSON に直してくれます。
基本的な呼び出しは 5 問すべて通りました。擬似ファイルシステムを渡してバグを探させる課題も 3 ターン・6 回のツール呼び出しで解け、壊れた呼び出しは 0 件です。ストリーミングでもツール呼び出しと思考の両方がチャンクに乗ってきます。
required は 1 件で止まり、2 か所の問い合わせは 1 メッセージにまとめる
Lightning で一番はっきりした問題だった、tool_choice: required で同じ呼び出しを 159 回返し続ける挙動は出ませんでした。受理して 1 件で止まります。Bolt と同じです。
「東京と大阪の天気を教えて」のような 2 か所への問い合わせは、1 つのメッセージに 2 件の呼び出しをまとめて返しました。Lightning は 1 件ずつ 2 ターンに分けていたので、Super VL から Bolt に受け継がれた呼び方がこちらだと分かります。場面依存なので 1 回の観測で性格と決めつけませんが、ツールの往復に時間がかかる環境では有利な向きです。
エージェントの部品としての適性
opencode や Hermes Agent のようなハーネスに載せられるかを、6 つのプローブで見ます。ここで測っているのは各ハーネスが依存する能力であって、ハーネス本体を動かした結果ではない点は先に断っておきます。
| プローブ | high | medium | off | high（16,384） | Bolt（high） |
|---|---|---|---|---|---|
| 40 個のツールから正しく選ぶ | 4/6 | ○ 6/6 | 5/6 | ○ 6/6 | 4/6 |
| 長い system prompt のルール遵守 | ○ | ○ | × | ○ | ○ |
| 定型フォーマットの再現（5 回） | ○ 5/5 | ○ 5/5 | × | ○ 5/5 | 4/5 |
| 応答言語の固定 | ○（3/3） | ○（3/3） | ○（3/3） | ○（3/3） | ○（3/3） |
| 過剰なツール呼び出しの抑制 | ○（2/2） | ○（2/2） | ○（2/2） | ○（2/2） | ○（2/2） |
| マルチターンの往復 | ○ | ○ | ○ | ○ | ○ |
medium は 6 つとも通りました。ハーネス別の判定も opencode、Hermes Agent、OpenClaw の 3 つとも「使える」です。これまで同じプローブで測った Lightning、Bolt、Qwen3.8-27B はどの条件でも 3 ハーネスとも「厳しい」だったので、初めての判定でした。
high の 8,192 が落としたのはツール選択の 2 問だけです。「毎朝 9 時に実行するよう設定して」で cron を作るツールを選ばないのは、Bolt や Lightning と同じ外し方です。ところが予算を 16,384 に広げると 6/6 で通りました。40 個のツール定義を積んだ状態では思考が長くなり、8,192 では答えを書く前に枠が詰まっていたと読んでいます。medium が 8,192 で通るのも同じ理屈で、思考を短くすれば予算の中で答えまで届きます。
思考を切ると、長い system prompt の「最後に要約の 1 行を置く」というルールを落とし、日報の定型も 5 回のうち行数が揺れます。Bolt と Lightning で見たのと同じ崩れ方です。Nemotron 3.5 ファミリーでは、思考を切った状態でハーネスに載せるのは勧めません。
画像
Super VL は画像も読めるモデルなので、Bolt と同じ 3 つのプローブに、日本語の文書画像を足して通しました。
| プローブ | 結果 | 中身 |
|---|---|---|
| 保護具の列挙（工場の写真） | ○ | ヘルメットと反射材付きベストを挙げ、無いものは挙げない |
| 棒グラフの数値読み取り | ○（4/4） | 17, 43, 62, 88 を順に転記 |
| 点検記録の OCR | ○（CER 0.0） | 日付、設備番号 AZ-4471、7.5 mm/s、判定、点検者を 1 字も落とさない |
3 つとも通り、幻覚（写っていない物を挙げる）は 0 件です。Bolt と同じ結果で、ここも Super VL と Bolt で差がつきませんでした。
日本語の文書は、合成 OCR データセット JSSODa（CC-BY 4.0）から横書き 2 枚と縦書き 2 枚を取り、文字誤り率（CER）で採点しました。予算は 4,096、思考は high です。
| 画像 | 結果 | 所要（秒） |
|---|---|---|
| 横書き 1 | CER 0.0 | 123 |
| 横書き 2 | CER 0.0 | 129 |
| 縦書き 1（3 段） | 本文なし（思考で予算切れ） | 217 |
| 縦書き 2（3 段） | 本文なし（思考で予算切れ） | 216 |
横書きの 2 枚は 1 字も落とさずに書き起こしました。縦書きの 2 枚は 8,000 字前後考えたところで 4,096 の予算が尽き、本文が出ていません。予算の問題か能力の問題かを切り分けるため、同じ 2 枚を思考を切った状態と、予算 16,384 の状態で測り直しました。
| 条件 | 縦書き 1 | 縦書き 2 |
|---|---|---|
| 思考なし、予算 4,096 | CER 0.939 | CER 0.999 |
| high、予算 16,384 | CER 0.964 | CER 1.003 |
どちらも本文は出ましたが、読めていません。出力を見ると、縦の列を上から下へ読まずに、同じ高さにある文字を列を跨いで横に拾っていました。「までの組合は採る新れ、愛を押し重説聞と」のように、1 文字ずつは正しく拾えているのに並び順が崩れています。予算を 4 倍にしても同じ崩れ方で、所要が最長 10 分近くまで延びただけでした。横書きの日本語は読めるが、縦書きは列を跨いで横に読む。これは予算の話ではなく、このモデルの読み方の話です。縦書きの文書を扱う人は、ここを前提に置いてください。
モデルカードにある動画の入力は今回は測っていません。
Super VL と Bolt は同じ課題でどう違うか
ここまでの判定を、同じ Nemotron 3.5 の 3 つで並べ直します。Bolt は llama.cpp、Lightning と Super VL は vLLM なので、速度は入れずに品質の判定だけです。
| 課題 | Super VL 120B-A12B | Bolt 74B-A9B（2 bit） | Lightning 30B-A3B |
|---|---|---|---|
| 日本語（high） | 8/9 | 8/9 | 8/9 |
| 日本語（medium） | 9/9 | 8/9 | 未測定 |
| コード生成 | 5/5、49/49 | 5/5、49/49 | 4/5 |
| バグ修正 | 5/5、6 ターン | 5/5、5 ターン | 5/5、13 ターン |
| ツール呼び出し | 5/5、required 1 件 | 5/5、required 1 件 | 5/5、required 159 件 |
| エージェント適性（high） | プローブ 5/6、1 ハーネス使える | プローブ 4/6、全ハーネス厳しい | プローブ 4/6、全ハーネス厳しい |
| エージェント適性（medium） | プローブ 6/6、3 ハーネス使える | プローブ 4/6、全ハーネス厳しい | 未測定 |
| 画像の 3 プローブ | 3/3 | 3/3 | テキスト専用 |
high で測った判定だけ見ると、Super VL と Bolt はほとんど同じです。日本語 8/9、コード 5/5、ツール 5/5、画像 3/3。2 bit に削った Bolt がここまで Super VL に並ぶのは、Bolt の記事で書いた QAD の効きを Super VL の側から見た形です。
差が出るのは思考を medium にしたときと、予算を広げたときでした。Super VL は medium で日本語 9/9、エージェント適性 6/6 まで上がり、Bolt は 8/9 と 4/6 のまま動きません。ツール選択で外す 2 問は、Super VL なら 16,384 の予算を与えれば通ります。Bolt は思考の強さを 3 段変えても同じ 2 問を外しました（Bolt の 16,384 の行は測っていません）。アクティブ 12B と 9B の差は、簡単な課題では見えず、たくさんの選択肢から選ぶ課題や、固有名詞を保ちながら要約する課題で見えてくる、というのが今回の読みです。
その代わり Super VL は遅いです。単発は投機込みで 38 tok/s、投機なしなら 19 tok/s です。Bolt の llama.cpp の 61.61 tok/s や Lightning の 79.59 tok/s には届きません。常駐も 100 GiB 近くを占めるので、DGX Spark 1 台をこのモデルに明け渡す使い方になります。1 人で賢い実行役を回すなら Super VL、速さと同居を取るなら Bolt、数人で共有するなら Lightning。同じ Nemotron 3.5 でも置き場で選び分ける設計だと、Super VL を測ってみてあらためて思いました。
まとめ
Nemotron 3.5 Super VL 120B-A12B NVFP4 は、モデルカードの DGX Spark 向けレシピが書いたまま動き、1M コンテキストの既定で 11 分で起動しました。LiLiCorr の投機デコードで単発 38.07 tok/s、外すと 19.06 tok/s です。16K から 64K の入力では prefill が 2,100〜2,200 tok/s で、64K の最初の応答までは 30 秒でした。
品質は、思考を medium にしたときが一番よく、日本語 9/9、コード 5 問 49 テスト全通過、ツール呼び出し 5/5、エージェント適性の 6 プローブ全部通過で 3 ハーネス「使える」でした。同じ課題で測った Bolt と Lightning はどれも届いていなかった判定で、アクティブ 12B の差は選択肢の多い課題で出てきます。既定の high は 8,192 の予算では思考が枠を使い切る課題があるので、対話にもハーネスにも medium を勧めます。
できなかったことも書いておきます。縦書きの日本語は列を跨いで横に読んでしまい、予算を増やしても直りませんでした。内蔵の MTP と動画入力は測っていません。
次は、この 1M の枠を本当に使う番です。フォーラムには 1M の合言葉を回収した報告がすでにあるので、数十万トークンの文書を読ませたときの TTFT を、ゾーンの温度を見ながら測ってみたいところです。
参考リンク
- NVIDIA の発表ブログ（Super VL と Bolt）（2026-10-15）
- NVIDIA Developer Blog の技術解説 — DGX Spark 向けの最適化と LiLiCorr の位置づけ
- nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 — モデルカード。DGX Spark 向けレシピ、公式ベンチ、配備先の一覧表はこちら
- nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr — DFlash 投機デコード用のドラフト
- nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 — 量子化前の本体
- vLLM の対応ブログ（2026-10-15）
- NVIDIA Developer Forums: 単機 DGX Spark での速度と熱の報告（ronspie314 さん、2026-10-15 から）
- NVIDIA Developer Forums: Spark 向け vLLM 設定と LiLiCorr のスレッド（notmy.reward438 さん、2026-10-15 から。NVIDIA スタッフの同居に関する注記はここ）
- LiLiCorr（arXiv 2608.20530）
- Unsloth の Nemotron 3.5 Super VL ガイド — GGUF 版（UD-Q3_K_XL 65.8 GB など）と llama.cpp の起動例
- OpenMDW-1.1 ライセンス
- Nemotron 3.5 Bolt 74B-A9B を DGX Spark で測った記事 — 比較表の Bolt の数値はここで測ったもの
- Nemotron 3.5 Lightning を DGX Spark で測った記事 — 比較表の Lightning の数値はここで測ったもの
