NVIDIAがSIGGRAPH 2026で、21本の採択技術論文を軸にグラフィックス研究の射程を広げた。2026年7月19〜23日にロサンゼルスで開催中の同会議で前面に出したのは、映像を現実らしく見せる技術から、仮想世界を組み立て、その中で身体を動かし、実機へ動作を渡す技術への接続である。中心にあるMotionBricksは、同じニューラルモデルからゲーム内キャラクターとUnitree G1ヒューマノイドの動きを生成する。21本が一つの製品へ統合されたわけではない。それでも、フィジカルAIに必要な環境、物理、技能という三つの層が、測定値と公開コードを伴って見え始めた。

この方向は今年初めて現れたものではない。NVIDIAはSIGGRAPH 2025でも12本を超える論文を通じ、ニューラルグラフィックスと合成データを物理シミュレーションや強化学習へ結びつけていた。2026年は、35万本を超える動作データ、Newton物理エンジンへの組み込み、実機デモ、再利用可能な学習パイプラインまで、性能値と公開物を具体的に示した。

AD

35万本の動作を2ミリ秒で呼び出すMotionBricks

MotionBricksは、35万本を超えるモーションキャプチャのクリップを単一のニューラル基盤で扱い、研究チームの測定で1秒当たり1万5,000フレームのスループットと2ミリ秒のレイテンシーを達成した。スループットは並列処理量、レイテンシーは一度の応答時間を表すため、二つの数字を同じ性能尺度として比べることはできない。それでも、生成モデルをゲームエンジンの制御ループへ入れられる応答速度を狙った設計であることは明確だ。

MotionBricksは速度、向き、スタイルを受け取る「Smart Locomotion」と、接近から接触、その後の動作を補う「Smart Objects」を共通のモデル上に置く。研究ページのUnreal Engine 5向け実演では、アニメーショングラフの配線を使わずに物体との相互作用を組み立てた。研究チームによれば、タスク別のタグ付けや追加学習をせず、新しい下流タスクへゼロショットで適用できる。画面上のキャラクターを動かすのと同じモデルがUnitree G1にも使われた。これは、アニメーション用の動作生成とロボット向けの動作指令が同じデータ資産を共有できる可能性を示す。

ただし、公開物はまだ初期プレビューである。現時点のコードには軽量なG1デモと合成学習パイプラインが含まれるが、GR00T Whole-Body Controlへ完全に組み込んだモデルと完全版の学習パイプラインは約1カ月後の公開を目標としている。35万本規模の学習結果を第三者がどこまで再現できるかは、その完全版が出てから測ることになる。

GPCは動作を使い回せる技能へ変える

GPC（Generative Pretrained Controller）は、モーションを生成するモデルと、物理的な身体を安定して動かすコントローラーの間を埋める。最初にFinite Scalar Quantization（有限スカラー量子化）で連続した動きを離散的な技能トークンへ変換し、次にGPT型のTransformer decoderでトークン列の分布を学ぶ。最後にConditional Low-rank Adaptation（CoLA）を使い、事前学習した技能をパルクールなどの下流タスクへ移す三段構成だ。

研究ページでは、最初の技能量子化に使う追跡コントローラーを600時間のデータセットまで拡張し、99.98%の成功率を得たとしている。これは離散表現が元の動作を追跡できた割合であり、未知の実環境におけるロボットの成功率ではない。CoLAが下流タスクへの適応時に加えるパラメータは1%未満に抑えた。大きな動作モデルをタスクごとに学び直す代わりに、共通技能を保持したまま少量の追加パラメータで用途を変える設計である。

MotionBricksが「指示に応じて次の動きを素早く出す」側を担うのに対し、GPCは多数の技能を事前学習し、物理的な制御課題へ転用する側に寄る。さらにARDYは、オンラインの文章指示に加え、経路、全身キーフレーム、疎な関節位置と回転を長い時間範囲で受け付ける。ARDYもSONIC追跡ポリシーと組み合わせ、Unitree G1をリアルタイムに動かす実演を示した。三つの研究は競合する一枚岩のモデルではなく、生成速度、技能転用、長期の指示追従という異なる課題を切り分けている。

AD

3Dキャプチャ、素材、物理を別々の研究で補う

ロボットへ渡す動きがあっても、学習する仮想世界の形や材質、力学が崩れていれば実機へ移せない。今回の論文群は、この環境側にも具体的な部品を置いた。ArtiFixerは不完全な3D Gaussian Splatting（3Dガウシアンスプラッティング）を生成モデルで補い、VideoNeuMatは動画生成モデルに埋め込まれた材質表現を再利用可能なニューラル素材へ取り出す。Mixed Material Point Methodsは砂や雪、弾性固体の挙動をNewton物理エンジン内で計算する。

研究 埋める欠落 確認できた規模・性能 残る制約
ArtiFixer 観測の少ない3Dシーン 1回で数百フレームを生成し、既存手法を1〜3 dB PSNR上回る 未観測領域は測定ではなく、もっともらしい生成
VideoNeuMat 再照明できる3D素材 17枚の生成フレームから1回の推論で素材パラメータを予測 入力の17枚は実写計測ではなく生成フレーム
Mixed MPM 砂・雪・弾性体の物理 4,900万粒子を単一GPUで1フレーム4秒 大規模例はリアルタイムではない
ARDY 長期の動作指示 文章、経路、キーフレーム、関節制約を逐次処理 実機では別の追跡ポリシーと組み合わせる

この比較から分かるのは、写実的な絵を作るだけではフィジカルAIの学習環境にならないということだ。ArtiFixerが穴を埋めた画像は、現実に存在した形状の測定値とは限らない。VideoNeuMatが取り出す材質も、力学特性そのものを保証しない。生成した環境をロボット学習へ使うには、見た目の整合性に加えて、衝突形状や質量、摩擦などを別に検証する工程が残る。

Mixed MPMは、Newtonで扱える材料を砂や雪、弾性固体へ広げる。ソルバーはNewtonの第一級モジュールとして剛体計算と双方向に結合し、粒子状の地形がロボットを押し返すと、ロボット側が歩幅を変える例を示した。一方、4,900万粒子の砂が都市モデルへ流れ込む大規模例は、単一GPUで1フレーム4秒かかる。論文が示したのは扱える材料と結合方式の拡張であり、あらゆる規模で即時に計算できるという結果ではない。

実用基盤になるかを分ける三つの検証点

第一の検証点は再現性である。各研究の論文は読めるようになり、MotionBricksでは初期プレビューコードも出たが、完全版はまだ揃っていない。公開後には、35万本規模の学習を外部の開発者が再現できるか、異なるロボット形状へ移したときにも2ミリ秒級の応答を保てるかを確認する必要がある。

第二は、仮想世界から実機へ技能を移すsim-to-realの成否だ。Unitree G1のデモは、生成した動作を実機へ渡せることを示した。しかし、床の摩擦、関節の個体差、遅延、外乱が変わる環境での成功率までは公開ページから判断できない。GPCの99.98%も追跡コントローラーの学習指標であり、この問いへの回答にはならない。

第三は、生成した環境の正しさである。ArtiFixerは観測できなかった場所を自然に見せられるが、ロボットが触れる面の形や材質を事実どおりに復元した保証はない。完全版MotionBricksの公開、異なる実機での第三者検証、生成シーンに物理属性を与える工程が揃えば、21本の論文はグラフィックス研究の展示から、フィジカルAI開発者が組み替えて使える基盤へ近づく。