4GB の会話モデル「Nemotron 3.5 Bolt E4B」を DGX Spark で動かしてみた
はじめに
こんにちは、クラスメソッド製造ビジネステクノロジー部の森茂です。
NVIDIA が 10 月 23 日に Nemotron 3.5 Bolt E4B 4GB を公開しました。10 月 15 日の発表で「10 月 23 日に出す」と予告されていた、Bolt 系でいちばん小さいモデルです。
前回の Bolt 74B-A9B 24GB の記事（2026-10-16 時点の記事です）の最後で、「E4B が出たら同じ課題で測る」と書きました。Bolt 74B は Super VL 120B から切り出した 2 bit の「配る側」のモデルでした。手元で特化学習する受け皿は Lightning か E4B に回る、という読みも書いています。その E4B の中身は、Google の Gemma 4 E4B-it に NVIDIA が強化学習だけを足したものです。狙いは音声アシスタント、ゲームの NPC、ロボットの対話窓口で、会話の途中で道具を正しい時機に呼ぶことと、指示の優先順位を守ることに寄せてあります。
NVIDIA は RTX 5070 や Jetson Orin Nano での速度を公表していますが、DGX Spark の数字はありません。手元の DGX Spark と Jetson Orin Nano Super で、いつもの課題を使って測りました。親の Gemma 4 E4B-it と、同じ 4B 級の Qwen3.5 4B も、同じ llama.cpp と同じ Q4_K_M で並べています。
先に結論を書いておくと、DGX Spark の llama.cpp で単発 128.79 tok/s（DFlash あり）でした。8 並列の合計は 355.81 tok/s です。日本語 10 課題は 8/9、コード生成は 5/5、ツール呼び出しは 5/5 で、Bolt 74B と同じ表に 4B が並びます。親の Gemma 4 E4B-it と比べると速さと日本語は同じで、差はコードの正確さと、長い指示の守り方に出ました。
この記事では、Bolt E4B 4GB の素性、DGX Spark で動かすまで、速度・日本語・コード・ツールの実測、親の Gemma 4 E4B との比較を紹介します。手元に DGX Spark か Jetson があって、小さな会話モデルを常駐させたい人に刺さるといいなと思っています。
Nemotron 3.5 Bolt E4B 4GB の素性
モデルカードと技術報告から、記事に関わるところを表にします。
| 項目 | 内容 |
|---|---|
| 出自 | Google の Gemma 4 E4B-it を、NVIDIA が NeMo RL と NeMo Gym の強化学習（GRPO）で事後学習。SFT は入れていない |
| 大きさ | 総パラメータ 8B、計算に使う重みは 4B 相当（E4B の E は effective）。MoE ではなく、Gemma 4 の層ごとの埋め込みで総数が増えている |
| コンテキスト長 | 64K トークン（入力も出力も） |
| 配布物 | GGUF の Q4_K_M が 6.18 GB、DFlash ドラフトが 0.74 GB。BF16 の safetensors は 15.9 GB |
| 量子化 | llama.cpp の Q4_K_M。強化学習の rollout 約 100 万トークンを imatrix に使っていて、imatrix なしの Q4_K_M や IQ4_XS より平均点が高いと技術報告にある |
| 思考 | enable_thinking で ON と OFF。テンプレートの既定は OFF で、リクエスト側で付ける。段階指定は無い |
| 対話モード | conversational_mode: true で「話し言葉で短く答える」system 指示が足される |
| ツール呼び出し | Gemma 4 の形式。call:関数名{引数} を tool_call のタグで囲む |
| 言語 | 35 言語。事後学習は英語だけで、日本語は Gemma 4 から引き継いだ分 |
| ライセンス | OpenMDW-1.1。Gemma 4 の部分は Apache 2.0 |
名前の「4GB」はファイルの大きさではありません。想定しているワークロード、つまり入力 2.5K〜16K トークンで 500 トークン未満を返す単発の会話で、使うメモリが約 4GB に収まるという目安です。NVIDIA の計測では RTX 5070 で 3.5GB、Jetson Orin Nano で 4.2〜4.9GB でした。GGUF のファイル自体は 6.18 GB あります。
公式のベンチマークは、会話、多ターンのツール呼び出し、指示の優先順位、長い文脈、根拠に沿った応答の 5 群です。比べる相手は同じ 4B 級の Gemma 4 E4B-it と Qwen3.5 4B、それに前の世代の Nemotron 3 Nano 4B です。21 本のうち 15 本で最高点ですが、負けているところもはっきりしています。
| ベンチマーク | 測るもの | Bolt E4B | Gemma 4 E4B-it | Qwen3.5 4B | Nano 4B |
|---|---|---|---|---|---|
| MultiChallenge | 多ターンの一貫性 | 53.1 | 42.1 | 51.8 | 35.3 |
| IHEval | system と user の指示が衝突したときの優先順位 | 84.8 | 67.0 | 60.6 | 51.3 |
| When2Call-MT | 道具を呼ぶ時機 | 63.4 | 62.9 | 37.8 | 27.7 |
| Tau2-Bench | 多ターンの顧客対応 | 55.1 | 38.5 | 75.1 | 29.2 |
| RULER 64K | 長い文脈からの取り出し | 87.0 | 86.5 | 95.1 | 91.5 |
| LongBench v2 | 長い文書の読解 | 50.5 | 49.3 | 59.9 | 31.4 |
いずれも BF16 の値で、NVIDIA が NeMo Gym で測ったものです。指示の優先順位と道具を呼ぶ時機で伸び、長い文脈と Tau2 では Qwen3.5 4B に届いていません。研究ページの「出力トークンを最大 80% 減らした」も、この表と同じ比較の中の話です。
技術報告で面白かったのは、SFT を入れなかった理由です。多ターンのツール呼び出しは SFT を挟むと上がったのに、Gemma 4 の会話の自然さと簡潔さが退行したので、強化学習だけで仕上げたと書いてあります。日本語はこの英語だけの強化学習の外側にあって、MMLU-ProX の日本語は Gemma 4 から 1.9 点下がったと報告されています。手元の日本語 10 課題は、この副作用が出ているかを見る位置づけになります。
動かすまで
モデルカードの手順は、llama.cpp の公式コンテナに GGUF とドラフトを渡すだけです。
docker run --rm --gpus all -p 8000:8000 -v "$MODEL_DIR:/models:ro" \
ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 \
-m /models/Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf \
--spec-draft-model /models/Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf \
--spec-type draft-dflash --spec-draft-n-max 7 --spec-draft-ngl 999 \
--alias nemotron-bolt --host 0.0.0.0 --port 8000 -c 65536 -ngl 999 --jinja
ドラフト側のモデルカードは、コンテナより 2 週間新しい llama.cpp b11808 を要求しています。自分はその b11808 を DGX Spark 向けに sm_121 で build して測りました。build は 4 分弱です。
モデルカードのコンテナ b11459 も DGX Spark で動かしました。この版でも DFlash は載り、ツール呼び出しも構造化されて返ります。違いはスロット数で、カードの手順は --parallel を渡さないので既定の 4 本で起動します。この状態の単発は DFlash ありで 117.79 tok/s、なしで 55.61 tok/s でした。最初に試す経路として、コンテナの手順はそのまま使えます。数字を揃えたいので、この記事の表は b11808 の自前 build で --parallel 1 を明示した値で統一しています。
cmake -B build-cuda -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=121 -DCMAKE_BUILD_TYPE=Release -DLLAMA_CURL=ON
cmake --build build-cuda -j"$(nproc)" --target llama-server
./build-cuda/bin/llama-server -m Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf \
--spec-type draft-dflash --spec-draft-model Nemotron-3.5-Bolt-E4B-DFlash-BF16.gguf \
--spec-draft-n-max 7 --spec-draft-ngl 999 -c 65536 --parallel 1 -ngl 999 --jinja --port 8089
起動は 3.8 秒で、ログに DFlash の積載が出ます。ドラフトは本体の 5 層の中間状態を受け取り、1 回の計算で 7 トークンを提案する作りです。ログの n_extract=5 と n_max=7 が、そのまま技術報告の説明と一致します。
common_speculative_impl_draft_dflash: adding speculative implementation 'draft-dflash'
common_speculative_impl_draft_dflash: - n_max=7, n_min=0, p_min=0.00
common_speculative_impl_draft_dflash: - block_size=8, mask_token_id=4, n_extract=5, sample_from_anchor=true
常駐は、64K のコンテキストを丸ごと確保する起動で 8.7 GiB でした。重みの 5.8 GiB とドラフトの 0.7 GiB に、64K ぶんの KV キャッシュが乗った値です。「4GB」の目安で動かすなら、-c を想定の入力長に合わせて小さくすることになります。
リクエスト側で気を付けるのは思考の既定です。チャットテンプレートの enable_thinking は既定が OFF で、モデルカードの例はすべて chat_template_kwargs で明示しています。この記事の表も、思考 ON と OFF をリクエストごとに明示して測りました。ツール呼び出しは --jinja だけで tool_calls に構造化されて返ります。llama.cpp には Gemma 4 の形式専用のパーサがあり、NVIDIA が手を入れたテンプレートでもそのまま効きました。
速度
速度は同じ DGX Spark、同じ llama.cpp b11808、同じ Q4_K_M で、Bolt E4B と親の Gemma 4 E4B-it を並べます。単発は --parallel 1、8 並列は --parallel 8（1 スロット 8192）で、出力は強制的に 256 トークン、3 回の中央値です。
| 構成 | ドラフト | 単発 tok/s | TTFT | 8 並列の合計 | 1 本あたり |
|---|---|---|---|---|---|
| Bolt E4B 4GB | DFlash k=7 | 128.79 | 0.084 s | — | — |
| Bolt E4B 4GB | なし | 62.16 | 0.101 s | 355.81 | 46.11 |
| Gemma 4 E4B-it | MTP k=4 | 139.35 | 0.073 s | — | — |
| Gemma 4 E4B-it | なし | 63.76 | 0.101 s | 359.77 | 47.18 |
| Qwen3.5 4B | なし | 68.06 | 0.080 s | 311.32 | 39.73 |
ドラフトなしの素の速度は、Bolt と Gemma 4 でほぼ同じです。同じ骨格に同じ量子化なので、ここに差が出ないのは順当ですね。8 並列も合計 356 対 360 で揃っています。Qwen3.5 4B は単発で 1 割速く、8 並列の合計では 1 割遅い値でした。Qwen には配布されたドラフトが無いので、投機デコードの行はありません。
差が出たのはドラフトの方です。Bolt の DFlash は単発を 2.07 倍にし、Gemma 4 の MTP は 2.19 倍にしました。結果として単発は Gemma 4 の方が 8% 速い。技術報告は RTX Spark で「DFlash の Bolt は MTP の Gemma 4 より 1.05 倍速い」と書いています。DGX Spark の llama.cpp では逆でした。受理率を見ると、DFlash は 1 回の提案 7 トークンのうち 3.1〜3.8 トークンが通り、MTP は 4 トークンのうち 2.7〜2.9 トークンが通っています。提案の長さは DFlash が長いのに、1 回ごとの計算が MTP より重いぶんが相殺している読みです。研究ページの「最大 21%」は RTX 5070 の値で、Spark 系では NVIDIA 自身の表でも 5% なので、機種によって逆転しうる差だと思っておくのがよさそうです。
NVIDIA が公表している RTX Spark の 67.0 tok/s は、ドラフトなしの Bolt の 62.16 tok/s に近い値です。入力 3K トークンで 50 トークンを返す条件なので、この記事の強制長 256 とは条件が違いますが、桁は合っています。
日本語
日本語 10 課題は、自由記述を目で読み、9 課題を機械判定しています。予算（出力トークンの上限で、思考と本文の合計）は 8,192 で、Bolt 74B の記事の行に揃えました。
| 構成 | 思考 | 機械判定 | 50字制約 | コード生成 | 数値推論 | 指定語 | JSON形式 | 固有名詞 | 数値転記 | 敬語 | 長文抽出 | 出力 tok | 秒 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Bolt E4B 4GB | ON | 8/9 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | 3,241 | 55.2 |
| Bolt E4B 4GB | OFF | 8/9 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | 841 | 15.1 |
| Gemma 4 E4B-it | ON | 8/9 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | 4,894 | 80.2 |
| Gemma 4 E4B-it | OFF | 8/9 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | 1,049 | 18.0 |
| Qwen3.5 4B | ON（16K） | 8/9 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌* | ✅ | ✅ | ✅ | 46,557 | 742.5 |
| Qwen3.5 4B | OFF | 7/9 | ✅ | ✅ | ✅ | ❌ | ✅ | ❌ | ✅ | ✅ | ✅ | 922 | 15.5 |
| Bolt 74B-A9B 24GB | medium | 8/9 | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ | 3,240 | 90.5 |
予算は Qwen3.5 4B の思考 ON だけ 16,384 で、理由は後で書きます。サンプリングは各モデルの推奨値に従いました。
| モデル | temperature | top_p | top_k | presence_penalty |
|---|---|---|---|---|
| Bolt E4B 4GB、Gemma 4 E4B-it | 1.0 | 0.95 | 64 | なし |
| Qwen3.5 4B（思考 ON） | 1.0 | 0.95 | 20 | 1.5 |
| Qwen3.5 4B（思考 OFF） | 0.7 | 0.8 | 20 | 1.5 |
❌* は、出力トークンの予算を思考で使い切って本文が出なかった判定不能の印です。
Bolt と Gemma 4 の 4 構成は 8/9 で、落としたのは同じ 1 問、固有名詞 6 つを残して 150 字に要約する課題です。Bolt E4B は 6 つのうち 5 つを残し、Bolt 74B の 4 つより多く残しました。74B も Lightning も落とす課題なので、小ささが原因ではないと見ています。
Qwen3.5 4B は思考 OFF で 7/9、思考 ON で 8/9 でした。思考 ON だけ予算を 16,384 トークンにしたのは、8,192 では思考だけで使い切る課題があったためです。10 課題の合計は 46,557 トークンで 742.5 秒と、Bolt E4B の思考 ON の 14 倍の時間がかかります。
思考の ON と OFF で判定が動かなかったのは、この表の収穫です。OFF は所要 15.1 秒で ON の 4 分の 1 以下、出力トークンは 841 対 3,241 でした。窓口役として短い受け答えをさせるなら、思考は切っておいて困らない。英語だけの強化学習で日本語が落ちたかは、親の Gemma 4 E4B-it と同じ判定なので、この 10 課題の粒度では差が見えませんでした。
自由記述はリモートワークの利点と欠点を 2 つずつ挙げる課題で、目で読んで判定しています。Bolt E4B は思考 ON で 253 トークン、見出しと番号付きの 4 項目にまとめ、通勤時間の削減と働く場所の柔軟さ、境界の曖昧さとコミュニケーションの希薄化を挙げました。Gemma 4 E4B-it は同じ構成を 738 トークンで書いています。中身はどちらも妥当で、差は長さだけでした。NVIDIA が「出力トークンを最大 80% 減らした」と書いている方向が、この 1 問では 66% 減として出ています。
コードを書かせる
日本語の仕様からゼロで書く 5 問と、3 つのバグがあるミニリポジトリを 30 ターン以内に直す課題です。採点は pytest をこちらで回しています。
| 構成 | ゼロ書き | テスト | バグ修正 | ターン | 秒 |
|---|---|---|---|---|---|
| Bolt E4B 4GB（思考 ON） | 5/5 | 49/49 | 5/5 | 11 | 39.6 |
| Gemma 4 E4B-it（思考 ON） | 3/5 | 35/35 | 5/5 | 12 | 49.2 |
| Qwen3.5 4B（思考 ON、16K） | 5/5 | 49/49 | 5/5 | 8 | 42.2 |
| Bolt 74B-A9B 24GB（high） | 5/5 | 49/49 | 5/5 | 5 | 43.0 |
Bolt E4B は 5 問とも書き切り、49 テストを全部通しました。Bolt 74B と同じ結果で、Lightning の 4/5 を上回ります。Gemma 4 E4B-it は 2 問を from typing import list という import の誤りで落としました。Bolt E4B の 5 問にこの癖は出ていません。強化学習の対象はコードではないので、たまたまか副産物かは、この 5 問では決められません。
Qwen3.5 4B も出力トークンの予算 16,384 で 5 問とも通りました。ただし parse_duration の出力は 12,817 トークンで、Bolt E4B の 1,739 トークンの 7 倍です。答えに届く力は同じでも、使うトークンが違います。
バグ修正は 3 つとも 5/5 で、Bolt E4B は 11 ターン、Gemma 4 は 12 ターン、Qwen3.5 4B は 8 ターンでした。Bolt 74B は 5 ターンで終えているので、1 回で複数のファイルを読んで直す段取りは、やはり大きいモデルの方が上手です。
ツールとして使えるか
ツール呼び出しは単発、複数の呼び出しの形、tool_choice=required への従い方、擬似ファイルシステムの 4 つを見ます。
| 構成 | 単発 | 複数呼び出しの形 | tool_choice=required | 擬似 FS |
|---|---|---|---|---|
| Bolt E4B 4GB | 5/5 | 1 メッセージに並列 | 従う（1 件） | ✅ |
| Gemma 4 E4B-it | 5/5 | 1 メッセージに並列 | 従う（1 件） | ✅ |
| Qwen3.5 4B | 5/5 | 1 メッセージに並列 | 受理して 0 件 | ✅ |
Bolt と Gemma 4 に差はありません。Gemma 4 の形式を llama.cpp がネイティブに解析するので、どちらも tool_calls で返ってきます。Qwen3.5 4B も単発と擬似ファイルシステムは同じ結果ですが、tool_choice=required を指定したときにエラーを返さず、呼び出し 0 件で返しました。ツールを呼ばせる前提で組んだクライアントは、この挙動を踏まえて組む必要があります。
エージェント適性は、ハーネスが依存する能力を 6 つのプローブで見たもので、ハーネス本体を動かした結果ではありません。
| 構成 | 思考 | 多ツール選択 | 長い system prompt | テンプレ安定 | 言語固定 | 過剰呼び出し | ターン往復 |
|---|---|---|---|---|---|---|---|
| Bolt E4B 4GB | ON | ❌ 5/6 | ✅ | ❌ 4/5 | ✅ | ✅ | ✅ |
| Bolt E4B 4GB | OFF | ❌ 5/6 | ❌ | ❌ 2/5 | ✅ | ✅ | ✅ |
| Gemma 4 E4B-it | ON | ❌ 5/6 | ❌ | ❌ 2/5 | ✅ | ❌ 1/2 | ✅ |
| Gemma 4 E4B-it | OFF | ❌ 5/6 | ❌ | ❌ 2/5 | ✅ | ✅ | ✅ |
| Qwen3.5 4B | ON | ❌ 5/6 | ❌ | ✅ 5/5 | ✅ | ❌ 1/2 | ✅ |
| Qwen3.5 4B | OFF | ❌ 5/6 | ❌ | ❌ 2/5 | ✅ | ✅ | ✅ |
多ツール選択で落とした 1 問は、Bolt も Gemma 4 も「繰り返しの予定を登録する」依頼で cron のツールを呼ばなかったものです。Lightning と Bolt 74B も同じ問題を落としています。Bolt E4B の思考 ON が親より良かった点は 3 つあります。長い system prompt の規則を守り、定型の日報を 5 回のうち 4 回同じ形で出しました。用語の説明を求められたときに、不要なツールも呼んでいません。Gemma 4 は思考 ON で 2 回に 1 回、説明だけで済む問いにもツールを呼びました。指示の優先順位と道具を呼ぶ時機を強化学習で鍛えた、という NVIDIA の説明が、このプローブの差と合っています。
Qwen3.5 4B は思考 ON で定型の日報を 5 回とも同じ形で出し、この表で唯一テンプレ安定が ✅ です。一方で長い system prompt の規則を落とし、説明だけで済む問いにツールを呼びました。
ただし、opencode や Hermes Agent の判定は Bolt E4B も「厳しい」です。多数のツールを積んだときの選択と、定型出力の安定が引っかかります。これは Bolt 74B と Lightning でも同じ判定で、コーディングエージェントの頭脳に 4B を据える話ではない、というのが素直な読みです。
思考の上限も試しました。llama-server の --reasoning-budget 1024 で思考を 1,024 トークンで切りました。日本語の合否は 8/9 で変わらず、所要は 67.5 秒と、上限なしの 55.2 秒より延びました。適性プローブでは長い system prompt と過剰呼び出し、テンプレ安定が落ちています。1 回の測定ですが、遅延のために思考を削るなら、上限より OFF の方が素直です。
Gemma 4 E4B から何が変わったのか
ここまでの表を、親との差だけで並べ直します。
| 観点 | Bolt E4B 4GB | Gemma 4 E4B-it | 差の読み |
|---|---|---|---|
| 素の速度 | 62.16 tok/s | 63.76 tok/s | 同じ骨格なので同じ |
| ドラフトあり | 128.79 tok/s（DFlash） | 139.35 tok/s（MTP） | DGX Spark では MTP の方が速い |
| 日本語 10 課題 | 8/9、8/9 | 8/9、8/9 | 差なし。英語だけの強化学習で落ちてはいない |
| コード生成 | 5/5 | 3/5 | Gemma 4 は 2 問で typing の import を間違えた |
| 長い system prompt | 守る（思考 ON） | 守らない | 指示の優先順位の学習が効いている |
| 過剰呼び出し | しない | 2 回に 1 回 | 道具を呼ぶ時機の学習が効いている |
| 多ツール選択 | 5/6 | 5/6 | 差なし |
Qwen3.5 4B を足すと、構図が立体になります。素の速度は 1 割速く、ツール呼び出しの単発と擬似ファイルシステムは同じ結果でした。判定は出力トークンの予算 16,384 で Bolt E4B と同じ水準に揃いますが、そこまでに使うトークンと時間は 7〜14 倍です。NVIDIA が「出力トークンを最大 80% 減らした」と書いているのは、この差のことだと手元の数字で分かります。tool_choice=required は 0 件で返し、定型出力の安定は 3 モデルで一番でした。NVIDIA の表で Qwen が上回る長い文脈と Tau2 は、この課題集では測っていません。
4GB という枠の置き場も考えておきます。この記事の起動は 64K の文脈を丸ごと確保して常駐 8.7 GiB でした。128GB の DGX Spark なら、Bolt 74B や Lightning のような大きなモデルの横に置いても誤差の範囲です。会話と道具呼び出しの窓口を E4B が受け、重い推論を後ろの大きなモデルに回す構成は、同じ 1 台で試せます。
8GB の Jetson Orin Nano Super でも、同じ b11808 を sm_87 で build して試しました。Unsloth の UD-Q4_K_XL（4.5GB）なら 8K のコンテキストで起動し、単発 14.68 tok/s、最初の応答まで 0.393 秒です。NVIDIA が公表した Orin Nano の 15.5 tok/s と桁が合います。ツール呼び出しも Spark と同じく構造化されて返るので、話しかけて道具を 1 つ呼ぶ窓口役なら 8GB でも成立します。一方で NVIDIA の Q4_K_M（5.9GB）は、空き 6.3GB のこの機体では CUDA のメモリ確保に失敗して起動しません。DFlash のドラフトを足す余地も無く、起動後の空きは 400MB です。8GB 機では量子化を一段深くした版を選び、横に別のモデルは置かない、という使い方になります。
前回の記事で「特化学習の受け皿は Lightning か E4B」と書いた仮説にも触れておきます。E4B の BF16 は 15.9 GB で、強化学習のレシピと環境、学習に使ったデータセットは NeMo RL と NeMo Gym の形で公開されています。Bolt 74B の BF16 149.8GB は Spark に載りませんでしたが、E4B なら載る大きさです。実際に回したわけではないので、ここは次に確かめる側に置いておきます。
まとめ
Nemotron 3.5 Bolt E4B 4GB は、DGX Spark の llama.cpp で単発 128.79 tok/s で動きました。8 並列の合計は 355.81 tok/s です。日本語 10 課題は 8/9、コード生成は 5/5、ツール呼び出しは 5/5 で、2 bit の Bolt 74B と同じ表に並ぶ判定です。思考を OFF にしても日本語 10 課題の合否は ON と同じ 8/9 で、10 課題を終える時間は 55.2 秒から 15.1 秒に縮みます。
親の Gemma 4 E4B-it と同じ条件で並べると、速さと日本語は同じでした。差は、コード生成の 5 問を落とさずに通すこと、長い system prompt の規則を守ること、説明で済む問いにツールを呼ばないことに出ています。NVIDIA が「指示の優先順位」と「道具を呼ぶ時機」に寄せて強化学習した、という説明と手元の差は合っていました。一方で、多数のツールを積むコーディングエージェントの頭脳には、まだ厳しい判定です。
DFlash は DGX Spark では Gemma 4 の MTP に単発で負けました。機種で逆転しうる 5〜8% の差なので、ドラフトの方式より、どちらのモデルを窓口に置きたいかで選ぶのがよいと思っています。8GB の Jetson Orin Nano では、Unsloth の 4.5GB 版が 14.68 tok/s で動き、NVIDIA 版の Q4_K_M は載りませんでした。
次は、公開されている強化学習のレシピを DGX Spark で回して、E4B が特化学習の受け皿になるかを確かめてみたいところです。
参考リンク
- NVIDIA Nemotron 3.5 Bolt E4B 4GB（研究ページ）
- Nemotron 3.5 Bolt E4B 4GB: Technical Report（PDF）
- nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB — Q4_K_M の GGUF と llama.cpp の手順
- nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash — DFlash ドラフトの GGUF
- nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16 — 学習の起点になる BF16
- unsloth/gemma-4-E4B-it-GGUF — 比較に使った Gemma 4 E4B-it の Q4_K_M と MTP ドラフト
- unsloth/Qwen3.5-4B-GGUF — 比較に使った Qwen3.5 4B の Q4_K_M
- llama.cpp release b11808 — DFlash ドラフトのカードが要求する版
- 2 bit 量子化の MoE「Nemotron 3.5 Bolt 74B-A9B」を DGX Spark で動かしてみた（2026-10-16、前回の記事）
