NVIDIAは2026年3月11日、オープンモデル「NVIDIA-Nemotron-3-Super-120B-A12B-FP8」をHugging Faceで公開すると共に、同モデルの設計思想や学習手法、想定用途を詳しく説明している。Nemotron 3 Superは、総パラメータ数1200億、推論時に有効化されるアクティブパラメータ数120億の混合エキスパート型モデルで、マルチエージェント処理や長文脈推論、ツール利用を伴うワークロードを主な対象とする。
実務面での特徴は、最大100万トークンのコンテキスト長を持ちながら、常時巨大な密結合モデルを回す構成ではなく、必要な部分だけを動かすMoE構成で計算効率を高めている点にある。NVIDIAは、エージェント型システムでは履歴やツール出力、推論途中のテキストを再送することでトークン消費が膨らみやすく、長い処理では目標から外れる「context explosion」や、重い推論モデルを毎段階で使う「thinking tax」が課題になるとしており、Nemotron 3 Superはそれに対処するモデルとして位置付けている。
Hybrid Mamba-TransformerとLatent MoEで長文脈と効率を両立
モデルの中核は、Mamba-2層、Attention層、MoE層を組み合わせたHybrid Mamba-Transformer構成だ。長い系列を扱う部分ではMamba-2を多用し、必要な箇所でTransformerのAttentionを挟むことで、長文脈処理時の計算負荷を抑えつつ、局所的な関連情報の取り出し精度も確保する設計をとる。
MoE部分では、トークンをそのまま専門家層へ送るのではなく、圧縮した潜在空間に射影してからルーティングするLatent MoEを採用した。NVIDIAはこれにより、同じ推論コストでより多くの専門家を呼び出せるとしており、技術ブログでは「4倍の専門家を同等コストで活用できる」と説明している。推論時の有効パラメータ数を120億に抑えながら、総計1200億規模のモデル容量を使い分ける構成である。
Multi-Token PredictionとNVFP4学習を組み込む
Nemotron 3 Superは、次の1トークンだけを予測する一般的な自己回帰学習に加えて、複数の将来トークンを同時に予測するMulti-Token Predictionを採用する。NVIDIAはこれにより、長い出力の生成時間を短縮でき、構造化された生成タスクでは最大3倍の高速化が可能だとしている。コード生成やツール呼び出しのように、連続した出力を素早く返したい用途を意識した設計とみられる。
学習時には、NVIDIA Blackwell向けの4ビット浮動小数点形式であるNVFP4を前提に事前学習を行った。技術ブログでは、事前学習の総投入トークン数を25兆、SFT用サンプルを約700万件、強化学習では21種類の環境構成で約120万件のロールアウトを実施したとしている。Hugging Faceのモデルカードでは、事前学習データのカットオフは2025年6月、事後学習データのカットオフは2026年2月とされている。
ベンチマークと対応言語、利用条件
NVIDIAは、OpenClawエージェント向け評価として紹介するPinchBenchで、Nemotron 3 Superが85.6%を記録したと説明している。Hugging Faceのモデルカードには、推論・コーディング・長文脈・多言語系の各種ベンチマークも掲載されており、MMLU-Proは83.73、GPQAは79.23、LiveCodeBenchは版によって78.69または81.19、TauBench V2の平均は61.15としている。
対応言語は英語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語で、推論モードはチャットテンプレートの設定でオン・オフを切り替えられる。最小GPU要件としてはH100 80GBを2基としており、商用利用可能と明記している。ライセンスはNVIDIA Nemotron Open Model Licenseで、モデル本体はオープンウェイト、学習データセット群、学習・評価レシピとあわせて公開される。
提供先はHugging Faceに加えNebiusなどへ拡大
配布先としては、Hugging Faceのほか、NVIDIA NIMやbuild.nvidia.comが案内されている。また、Perplexity、OpenRouter、Baseten、Cloudflare、CoreWeave、DeepInfra、 Fireworks AI、 FriendliAI、 Inference.net, Lightning AI, Modalなど複数の推論基盤で利用できるとし、Nebiusも2026年3月11日にToken Factoryでの提供開始を発表した。
Nebius側の案内では、Nemotron 3 SuperをOpenAI互換APIで利用でき、専有GPUエンドポイント、オートスケーリング、EUまたはUSリージョン選択、ゼロリテンション推論のオプションを備えるとしている。NVIDIAが公開モデルとしての再現性と配布範囲を広げつつ、クラウド事業者側がそのまま本番導入できる運用基盤を用意する流れが、今回の立ち上がりの特徴といえる。
Sources
