NVIDIAは2026年10月15日、画像や文書の理解とツール使用を組み合わせたオープンAIモデル「Nemotron 3.5 Super VL」を公開した。総パラメータ数は1,200億に達するが、各トークンの処理に使うのは約120億で、最大100万トークンの長い文脈にも対応する。文書の内容を読み取り、社内の業務ルールを確認しながら、複数のツールを使って作業を進めるといった一連の処理を、一つのモデルで担えるよう設計されている。ただし、実際の導入を判断するには、生成速度だけでなく、量子化による精度への影響や、必要なGPU・メモリなどの運用条件も確認する必要がある。

AD

画像を理解し、推論からツールの使用まで一つのモデルで処理

Nemotron 3.5 Super VLは、テキスト、画像、動画を入力として受け取り、テキストを出力するマルチモーダルモデルだ。表やグラフを含む文書を読み取り、その内容に基づいて推論したり、外部ツールを呼び出したりできる。NVIDIAによると、例えば文書内の異なるページに掲載された表とグラフを関連付け、その内容を要約するといった処理にも対応する。一方、音声入力には対応していない。

画像の理解には「C-RADIO」と呼ばれる視覚エンコーダーを使用し、画像を内部表現に変換してから、接続部を介して言語モデルへ渡す。言語モデル側には、Mamba-2とTransformerのアテンションを組み合わせたハイブリッド構造を採用している。さらに、複数の専門家ネットワークから必要なものだけを選んで計算するMixture of Experts（MoE）構造により、処理に使うパラメータ数を抑えている。視覚情報の理解から、その後の推論やツールの呼び出しまでを一つのモデルで処理し、複数のモデルを組み合わせる手間を減らすことが狙いだ。

最大100万トークンというコンテキスト長も、こうした一連の作業で共有される。NVIDIAの公式モデルカードでは、「プロンプト、視覚入力、会話履歴、ツールの結果、生成する応答は、このコンテキスト枠を共有する」（訳）と説明している。つまり、100万トークンは単に読み込める文書の長さを表すものではなく、作業中に蓄積される会話履歴やツールの実行結果なども含めた上限となる。エージェントが長時間動き続ける場合には、こうした履歴もコンテキストを消費するため、入力できる文書の量はその分だけ制限される。

推論を高速化するための仕組みも組み込まれている。その一つが、複数トークン予測（Multi-Token Prediction：MTP）だ。これは先のトークン候補を複数まとめて生成し、主モデルが一度の計算で検証する仕組みで、複数の候補が採用されれば、テキスト生成に必要な計算回数を減らせる。さらに、プレフィックスキャッシュを利用することで、共通のシステム指示やツール定義、会話履歴などの計算結果を再利用し、繰り返し処理の負担を軽減する。

NVIDIAは学習済みの重みに加え、データセットと学習手順も公開する。自社の文書や業務ルールに合わせてモデルを追加学習させる際には「NeMo」を利用でき、モデルカードによると「OpenMDW-1.1」ライセンスの下で商用・非商用の両方に利用できる。同社のNemotronシリーズでは、大量のテキスト処理を担う「Lightning」や複雑な計画立案を担う「Ultra」も展開しており、Super VLは視覚情報を必要とする複数段階の業務を担うモデルとして位置づけられている。

最大5倍の処理性能をうたう一方、量子化による精度低下も

NVIDIAはNemotron 3.5 Super VLについて、同規模のオープンモデルと比較して最大5倍のスループットを達成するとしている。技術解説で示された比較では、10万トークンの入力を使用し、Basetenのエンドポイント上で毎秒600トークンを超える出力速度を記録した。ただし、これは特定の推論環境と測定条件で得られた生成速度であり、実際の業務がすべて5倍速く完了することを意味しない。文書の読み込みや外部ツールの実行なども含めた処理時間は、個別に評価する必要がある。

モデルを配備する際には、BF16形式と、メモリ使用量を削減したNVFP4形式を選択できる。NVFP4版は、NVIDIAのBlackwellアーキテクチャ上では重みと活性値の両方を4ビットで処理し、それ以外の環境では重みを4ビット、活性値を16ビットで扱う。視覚エンコーダーなど一部の構成要素は高精度のまま保持する混合精度方式を採用しており、すべての計算を一律に低精度化しているわけではない。また、NVIDIAはBF16版の出力を教師として学習させる蒸留手法を使い、量子化に伴う精度低下を抑えている。

もっとも、量子化による精度への影響は、評価するタスクによって異なる。10月15日に公開された公式モデルカードには、実行設定や評価用ソフトウェアなど、モデル以外の条件をそろえたBF16版とNVFP4版の比較結果が掲載されている。代表的なベンチマークの結果は次のとおりだ。

NVIDIAの評価項目 BF16版 NVFP4版
SWE-bench Verified 71.10 71.07
Terminal-Bench 2.1 66.70 60.80

SWE-bench Verifiedでは、BF16版とNVFP4版のスコアはほぼ同じだった。一方、Terminal-Bench 2.1では、NVFP4版のスコアがBF16版より5.90ポイント低くなっている。これは60.80－66.70＝－5.90というスコアの差であり、相対的な変化率ではない。いずれもNVIDIA自身による評価であり、差の統計的な有意性や、実際の業務における品質への影響まで明らかにしたものではない。それでも、省メモリ化による精度への影響はタスクによって異なり、一つのベンチマークだけでは判断できないことが分かる。

同時実行数によっても、性能の評価は変わってくる。推論サービスを提供するBlackbox AIがB300 GPUを1基使用して実施した測定では、Nemotron 3.5 Super VLの生成速度は、単独リクエストで毎秒521トークン、10件の同時実行では1件当たり毎秒218トークンだった。同じGPUで動かした「Gemma 4 31B」は、それぞれ毎秒357トークンと228トークンを記録している。単独のリクエストではSuper VLが上回ったものの、10件の同時実行ではGemma 4 31Bがわずかに上回っており、単独処理の速さが並列処理での優位性につながるとは限らない。

この測定は10月7日に実施され、約1万トークンのプロンプト30件を使用している。推論を有効にした状態で3回実行し、その中央値を採用したもので、出力トークン数には推論部分も含まれる。また、出力には1,500トークンの上限が設定されている。あくまでサービス提供者による生成速度の測定であり、回答の品質や運用費用を比較した結果ではない。

Blackbox AIは、MTPによる高速化の効果も検証している。同じ6件の長いプロンプトを使った実験では、MTPを有効にすると、単独リクエストの生成速度が毎秒198トークンから492トークンへと約2.5倍に向上した。一方、最初のトークンが出力されるまでの待ち時間は0.41秒から0.40秒と、ほとんど変わらなかった。生成速度を高める仕組みが、入力の処理や外部ツールの応答待ちまで同じ割合で短縮するわけではないため、実際の業務では作業全体が完了するまでの時間を測ることが重要になる。

AD

単一GPUでも動作するが、長時間の運用には大量のメモリが必要

Nemotron 3.5 Super VLは、量子化によって必要なGPU数を大幅に減らせる。NVIDIA NIMの配備資料では、GPUの種類とモデルの精度に応じて、次の構成が示されている。

GPU NVFP4版 BF16版（LoRA対応）
B200 1基 2基
H200 1基 4基
H100 80GB 2基 8基

NVFP4版はBF16版より少ないGPUで配備でき、B200やH200であれば1基でも動作させられる。ただし、NIMでLoRAアダプターを利用できるプロファイルはBF16版に限られている。LoRAは、少数の追加パラメータを学習することで、元のモデルを効率的に特定の用途へ適応させる手法だ。モデルをそのまま推論に使うのか、自社向けに追加学習した結果をアダプターとして適用するのかによって、必要なGPU構成も変わる。

さらに、長時間のエージェント処理ではGPUメモリだけでなく、CPU側のホストメモリも重要になる。NIMには、ツール呼び出しを繰り返しながらコンテキストが長くなるコーディング業務を想定した「agentX」というプロファイルが用意されている。この構成では、会話履歴などの計算結果を保持するKVキャッシュをCPU側へ退避させるため、コンテナが通常使用するメモリとは別に、GPU1基当たり200GiBのホストメモリが必要になる。H100を2基使用する場合は400GiBに達するが、これはagentX固有の要件であり、すべての配備環境に同じ容量が必要という意味ではない。

ローカルで動かす場合には、同時実行数にも注意が必要だ。公式モデルカードに掲載されたDGX Spark向けの起動例では、同時実行数を1件に設定し、トークン候補の生成に「LiLiCorr」を使用している。最大100万トークンというコンテキスト長はモデル自体の仕様だが、実際の推論環境ではGPUメモリの容量や同時実行数に応じて、利用可能なコンテキスト長を短く設定する場合がある。したがって、単一デバイスで動作すること、最大のコンテキスト長を利用できること、多数のリクエストを同時に処理できることは、それぞれ別の条件として確認する必要がある。

一方、多数のGPUを使う大規模な環境では、推論基盤そのものの最適化も性能を左右する。NVIDIAは推論基盤「Dynamo」を使った検証で、B200を16基使用し、利用者1人当たり毎秒50トークンの生成速度を維持する条件において、対応可能なユーザー数を最大8倍に増やし、最初のトークンまでの待ち時間を85％削減したとしている。これはリクエストを適切なGPUへ振り分け、キャッシュを再利用・退避する仕組みを組み合わせた結果であり、単一GPUにおけるモデル自体の生成速度を示したものではない。

Nemotron 3.5 Super VLの特徴は、視覚情報の理解から推論、ツールの使用までを一つのモデルで担えることにある。ただし、その利点を実際の業務で生かせるかは、量子化後の精度や同時実行時の性能、長い作業履歴を保持するためのメモリ容量によって変わってくる。導入を検討する企業は、自社の文書を読み取ってツールを実行する一連の作業を、想定する同時利用数とコンテキスト長で検証する必要がある。その際の作業成功率と完了時間を、GPUやホストメモリの導入・運用費用と比較することで、どの業務にSuper VLを採用する価値があるのかを判断できるだろう。