30Bなのに動くのは3B。Nemotron 3.5 Lightningが長時間AIエージェントを軽くする仕組み
30Bパラメータのモデルなのに、1トークンを処理するときに動くのは3Bです。
NVIDIAが2026年8月11日に公開した「NVIDIA Nemotron 3.5 Lightning」は、長時間動くAIエージェントの実行役を狙ったオープンモデルです。
NVIDIAの測定では、PinchBenchで約86%の精度を保ちながら、1万件のタスクをQwen3.6 35Bより30%短い時間で完了したと報告されています。似た規模のモデルとの比較では、最大4倍の出力速度という主張もあります。
ただし、大きな数字だけを見て「30Bモデルが3Bモデルのように動く」と受け取ると、少し話が早すぎます。
計算に使うパラメータが3Bでも、モデル全体の重みは30Bあります。最大100万トークンのコンテキストも、単体GPUならどこでも使えるわけではありません。さらに、速度と精度の比較はNVIDIA自身の測定です。
このモデルの本当の面白さは、最強モデルを一体置く発想ではなく、AIエージェントの仕事を「考える層」と「繰り返し実行する層」に分ける設計にあります。
長時間エージェントは、難問より反復で時間を使う
AIエージェントの仕事を想像すると、複雑な計画や高度な推論が目立ちます。
ところが、実際の長時間タスクでは地味な処理が大量に続きます。
- APIを呼ぶ
- 返ってきた値を検査する
- 決められた形式へ変換する
- ファイルやデータベースへ反映する
- テストを実行する
- 失敗した手順だけをやり直す
- サブエージェントの結果をまとめる
最初の計画には強いモデルが必要でも、境界が決まった後の反復処理まで毎回同じモデルへ頼む必要があるとは限りません。
フロンティアモデルをすべての呼び出しに使うと、待ち時間と推論費用が積み上がります。逆に、小さなモデルへ任せすぎると、ツールの引数を間違えたり、例外処理を飛ばしたりして、やり直しが増えます。
必要なのは単純な小型化ではありません。反復実行に必要な精度を残しながら、一回あたりの計算を減らすことです。
30Bのうち3Bだけを使うMoE
Nemotron 3.5 Lightningの中心は、Mixture-of-Experts、略してMoEです。
MoEは、内部に複数の専門家を持ちます。入力されたトークンごとにルーターが担当する専門家を選び、必要な部分だけを動かします。
このモデルは合計30Bパラメータを持ちますが、1トークンで有効になるのは3Bです。すべてのパラメータを毎回計算する30Bの密なモデルより、1トークンあたりの計算を小さくできます。
例えるなら、30人の専門家を会社に抱えながら、問い合わせごとに3人だけを会議へ呼ぶようなものです。
ただし、会社から残り27人が消えるわけではありません。
重みを保持するメモリ、専門家を配置する仕組み、長い入力を扱うKVキャッシュ、同時実行のための余裕は必要です。「3B active」は計算量の話であり、「3Bモデルと同じメモリで動く」という意味ではありません。
公式モデルカードによると、構造はMoEだけではありません。Mamba-2層とMoE層を交互に置き、一部にAttention層を使うハイブリッド構成です。
長い系列を効率よく扱うMamba系の仕組みと、必要な専門家だけを動かすMoE、要所で関係を直接見るAttentionを組み合わせています。
次の単語をまとめて下書きする投機的デコード
二つ目の仕掛けが投機的デコードです。
通常の言語モデルは、一つのトークンを生成し、その結果を使って次の一つを生成します。正確ですが、長い出力では確認の回数が増えます。
投機的デコードでは、軽い下書き役が複数の候補トークンを先に作り、本体モデルがまとめて検証します。候補が正しければ、複数トークンを一度に確定できます。
Nemotron 3.5 Lightningは、学習段階から複数トークン予測を組み込みました。さらに、DSparkとDFlashという下書きモデルも用意されています。
ここでも、常に同じだけ速くなるわけではありません。
候補が外れれば作り直しが必要です。同時実行数、入力の長さ、出力の性質、下書きの長さによって最適な設定は変わります。NVIDIA自身も、MTPは中程度から高い同時実行、DSparkはDGX Sparkや低同時実行など、使い分けを示しています。
投機的デコードは魔法の高速化ボタンではなく、仕事量に合わせて調整する推論方式です。
NVFP4で重みを小さくする。ただし精度差はある
三つ目は量子化です。
リリースには、基準となるBF16版と、低精度のNVFP4版があります。重みを少ないビットで表現すれば、メモリ転送と推論を軽くできます。NVIDIAはBlackwell、Hopper、Ampereで同じNVFP4チェックポイントを使えると説明しています。
ここで見逃したくない数字があります。
公式モデルカードのPinchBench結果は、BF16が85.37、NVFP4が83.43です。NVIDIAの記事にある約86%はBF16値を丸めたものと読めます。
NVFP4は速さを狙う版ですが、少なくともこの表では約1.94ポイント低くなっています。
差が大きいか小さいかは用途次第です。1万件の定型処理なら速度差が効くかもしれません。失敗一件の損失が大きい承認処理なら、約2ポイントを軽く扱えません。
「量子化しても同じ性能」と決めつけず、自分のタスクで失敗の種類まで比べる必要があります。
ベンチマークは何を示し、何を示さないのか
NVIDIAは、Artificial Analysis Intelligence Indexで、Nemotron 3.5 Lightningが小型オープンモデルの速度と精度の境界に位置すると説明しています。この指標は、エージェント、コーディング、科学推論、一般能力など九つの評価をまとめたものです。
PinchBenchでは、約86%の精度で1万件を処理し、似た精度のQwen3.6 35Bより30%短時間だったと報告しています。
評価レシピ、コンテナ、プロンプト、推論設定、採点方法はNeMo Gymで公開されています。これは再現性にとって大きな利点です。
それでも、数字はNVIDIAがNVIDIAの配布物を測った結果です。AICompanyでは今回、1万件の比較を再実行していません。ハードウェア構成、同時実行数、出力長、キャッシュ、サーバー設定が変われば、時間差も変わります。
また、トークンが速く出ることと、仕事が正しく終わることは別です。
ツール呼び出しを一度間違えて再試行すれば、速く生成した分を失います。必要な指標は出力速度だけでなく、タスク成功率、再試行回数、修正に使ったトークン、最終的な完了時間です。
100万トークンは、単体GPUの看板ではない
Nemotron 3.5 Lightningは最大100万トークンのコンテキストを掲げています。
しかし、公式モデルカードの検証条件を見ると景色が変わります。
- GB200のBF16とvLLMで100万
- B200のBF16とSGLangで100万
- H100を8基使う構成で100万
- H100 80GBを1基使うBF16では256K
単体H100の256Kでも十分長いのですが、100万という数字だけを見て一枚のGPUへ載せる計画を立てると危険です。
コンテキストを長くすると、入力を読む時間、キャッシュ用メモリ、誤った情報を拾う可能性も増えます。長い履歴をすべて残すより、必要な証拠を選び、古い状態を要約し、重要な決定を構造化して保存する方が安定する場合があります。
長い窓は記憶設計の代わりではありません。
実運用では「考えるモデル」と「動かすモデル」を分ける
このモデルを生かしやすいのは、役割を二段に分けた構成です。
上位のモデルは、曖昧な依頼を解釈し、計画を作り、危険な変更を見分けます。Nemotron 3.5 Lightningのような実行モデルは、決められた境界の中でツールを呼び、結果を検査し、定型的な変換を続けます。
すべてを小型モデルへ任せるのではなく、失敗条件を決めて上位へ戻します。
たとえば、次の条件です。
- 必須の引数が不足した
- 同じエラーが二回続いた
- 書き込み先が計画と一致しない
- テスト結果が途中で変わった
- 費用や権限を伴う操作へ進む
この境界はAICompanyの実運用向け解釈です。NVIDIAのベンチマークが、あらゆる業務でこの分担を保証したわけではありません。
導入前に小さく測る五つの指標
いきなり全処理を置き換えるより、過去の実行ログから代表的な50件から100件を選び、同じ条件で比較する方が安全です。
見るべき指標は五つあります。
- 最終タスク成功率
- ツール呼び出しの形式エラー率
- 人間または上位モデルへの差し戻し率
- 一件あたりの完了時間
- 成功一件あたりの総費用
特に大切なのは、成功一件あたりで見ることです。
一回の推論が半額でも、再試行が三倍なら安くありません。逆に、少し精度が下がっても、低リスクの大量処理で再試行を自動吸収できるなら、全体の待ち時間を減らせます。
BF16とNVFP4も同じタスク集合で分けて測ります。平均点だけでなく、どの種類の失敗が増えたかを残してください。
オープンだが、確認すべき条件は残る
NVIDIAは重み、学習データへの導線、レシピを公開し、OpenMDW-1.1で提供しています。エージェント向けの強化学習データやNeMo Gymの再現手順もあります。
一方、OpenMDW-1.1はApache-2.0やMITと同じライセンスではありません。商用利用や再配布を始める前に、現在の条文と自社の用途を確認する必要があります。
データも、すべてが無条件で一括取得できるわけではありません。モデルカードは、サンプルを公開しつつ、一部のコード、数学、多言語データには申請と承認が必要だと説明しています。
「オープン」という一語では、重み、コード、データ、評価、ライセンスの開き方の違いを表せません。
まとめ
Nemotron 3.5 Lightningの価値は、30Bという規模そのものではありません。
MoEで1トークンあたり3Bだけを動かし、投機的デコードで複数トークンを先回りし、NVFP4で推論を軽くする。これらを、長時間エージェントの反復実行へ向けて一つにまとめた点にあります。
ただし、30%短時間、最大4倍、100万トークンという数字は、条件から切り離せません。速度はNVIDIA測定で、NVFP4にはPinchBench上の差があり、100万トークンには大きなハードウェア条件があります。
最も現実的な使い方は、強いモデルを捨てることではありません。
難しい計画は上位モデルへ任せ、境界が明確な反復処理をLightningへ下ろし、失敗時だけ戻す。そのルーティングを自分の作業ログで測ることです。
モデル選びの単位が一体からシステムへ変わるとき、重要なのは最高点ではなく、どの仕事を誰へ渡すかになります。