動画生成AIの価値が、完成した映像から、その内部で育った視覚表現へ移り始めた。Google DeepMindなどの研究チームは、Alibabaのオープンな動画生成モデルWan 2.1を改造し、深度や表面法線など複数の視覚量を一つのモデルで推定するGenCeptionを発表した。ECCV 2026に採択されたこの研究は、映像を生成するための事前学習が、動く世界を読み取る基盤にもなると定量的に示している。ただし、実証されたのは知覚表現の豊かさであり、行動の結果を物理的に正しく予測するシミュレーターではない。この境界を見誤ると、「動画生成器の中に世界モデルがある」という主張の意味も変わってしまう。
動画を作る50段階を、知覚する1回へ
通常のWan 2.1は、ノイズから出発し、Diffusion Transformer（DiT）を50段階動かして映像へ近づける。GenCeptionは流れを逆用する。入力動画をVAEで圧縮したノイズのない潜在表現をDiTへ直接渡し、拡散過程の終端を表す時刻をt=0に固定する。反復生成をやめ、一回の順伝播で目的の知覚出力を得る設計だ。
複数タスクを束ねる仕掛けは、出力形式にある。深度や前景マスクは同じ値を3チャンネルへ複製し、表面法線やDensePoseは三つの次元をRGBへ割り当てる。カメラの位置と向きを画素ごとに表す6チャンネルのraymapは、画面の中央と周辺へ情報を分け、3チャンネル画像に詰め直す。入力動画に「depth」「surface normal」といったテキスト指示を添えると、同じDiTとデコーダーが対応する出力へ切り替わる。
2Dや3Dの関節座標は画像として表しにくい。この疎な出力には、各フレームに学習可能なトークンを追加し、小さな多層パーセプトロンで座標を読む。それでも研究チームは、密なタスクでは共通のバックボーン、デコーダー、標準的なL2損失を維持した。新しい視覚タスクを増やすたびに専用ヘッドを設計する代わりに、教師データの見せ方とテキスト指示を変える発想である。
生成モデルの内部表現を知覚へ使う発想には先行例がある。2025年の研究はVeo 3を追加学習せずにプロンプトで動かし、物体分割やエッジ検出、道具の使い方、迷路の定性例を示した。2026年4月のVision Bananaは画像生成器Nano Banana Proを知覚タスクで追加学習し、RGB画像を共通の出力形式にした。GenCeptionの前進は、この流れを時間方向へ広げ、動画の標準ベンチマークで測れる一回推論のモデルにした点にある。
7,500本が測るのは「後学習」の効率
後学習用の中心データは、7,500本の合成動画である。研究チームは800体の3D人物素材に、CMUのモーションキャプチャーから選んだ200種類の動作を与えた。背景、焦点距離、カメラの位置と軌道を変え、BlenderからRGB映像と正解の深度、表面法線、分割マスクを同時に得る。深度とカメラ姿勢にはTartanAir、Virtual KITTI、MVS Synthも加えた。実写データを使ったのは、文章で指定された対象を切り抜くexpression-referring segmentationである。
同じ7,500本、0.9Mフレームで深度推定を後学習した比較では、動画生成の事前学習が明確に効いた。三つのベンチマークにまたがる平均AbsRelは低いほど正確である。
| 事前学習バックボーン | 平均AbsRel |
|---|---|
| V-JEPA-H | 0.281 |
| VideoMAE V2-G | 0.154 |
| Wan 2.1 1.3B | 0.122 |
| Wan 2.1 14B | 0.093 |
データを4系統、8.08K本、1.23Mフレームへ広げたWan 2.1 14Bは、平均AbsRelを0.071まで下げた。D4RTは86Mフレームで0.082、VGGT-Ωは600Mフレームで0.067である。GenCeptionはD4RTを上回り、VGGT-Ωに迫った。後学習フレーム数はD4RTの約70分の1、VGGT-Ωの約488分の1に当たる。論文が掲げる「7〜500倍少ない学習データ」は、この種の下流タスク向けデータを指す。
ここで、計算資源まで小さくなったと受け取るのは早い。Wan 2.1の技術報告によれば、基盤モデルは数十億規模の画像と動画、合計でオーダー1兆トークンを事前学習している。GenCeptionの学習にも256基のv6e TPUを使い、バッチサイズ64で15,000ステップを回した。少量で済んだのは、深度や法線の正解を付けて能力を引き出す段階だ。大規模生成学習へ先に投じた費用を、複数の知覚タスクで再利用できることが成果なのである。
統合モデルは専門モデルを一律には上回らない
一つのモデルにタスクを集約した結果は、均一ではなかった。表面法線や前景分割では統合学習が競争力を保ち、前景分割の一部指標は専門版より改善した。一方、深度とカメラ姿勢は多くのベンチマークで後退するか横ばいだった。3D人体キーポイント推定は大幅に悪化したと論文が認めている。
原因の候補は、生成事前学習と追加部品の食い違いだ。Wan 2.1のDiTは、VAEが圧縮した密な時空間潜在表現を扱うよう事前学習されている。そこへ疎な座標回帰用トークンを入れると、学習済みの注意機構が乱れ、より多くのデータが必要になる。タスクごとに構造を変えない方針は拡張しやすいが、画像に収まらない出力まで無理なく統合できたわけではない。
汎化を示すデモにも読み方が要る。人物一体の合成動画で後学習したモデルは、実写の複数人物や、猫、犬、カバ、ヒューマノイドロボットへ出力を移した。猫のひげや髪の細部まで残る例は、Wan 2.1の事前学習から得た表現が合成データの範囲を越えたことを示唆する。しかし、動物やロボットでの成功率を測った専用ベンチマークは示されていない。「創発的挙動」は研究チームの呼び方であり、現時点の根拠は定性例である。
一回推論という言葉も、リアルタイムを意味しない。81フレーム、480×832の動画は24 FPSなら3.375秒分だが、v6e TPU 1基で13億パラメータ版は5.92秒、140億版は10.03秒を要する。プロジェクトページではコードがTBAのままで、第三者が学習手順や失敗例を再現できる段階にも達していない。
「理解」と「予測」で世界モデルの評価は変わる
世界モデルという語には、異なる二つの要求が混ざっている。一つは、観測から物体、奥行き、動き、関係を圧縮した内部表現を作る「理解」のモデルである。もう一つは、行動を与えたときに世界がどう変わるかを予測し、計画に使うモデルだ。2026年7月に公開された定義論文も、この理解志向と予測志向を分けている。
GenCeptionは前者に強い証拠を加えた。動画生成のために学んだ潜在表現から、奥行きやカメラ運動、言語で指定した物体を少量の後学習で読み出せるからだ。だが、GenCeptionは入力動画から知覚ラベルを推定する。ロボットの行動を条件に未来を展開せず、物理法則、因果的な介入、長期記憶、計画の正しさも試していない。
OpenWorldLibの研究チームは、世界モデルに知覚、行動条件付きシミュレーション、長期記憶を求め、純粋なtext-to-video生成を定義から外した。この厳しい基準では、GenCeptionは有力な知覚部品であって、完成した世界モデルではない。対照的にMetaのV-JEPA 2は、100万時間超の動画と100万枚の画像で事前学習した12億パラメータのモデルへ、62時間のロボットデータを加え、未知の環境で把持や移動を計画する実験まで進めた。GenCeptionがV-JEPAを深度推定で上回った事実と、V-JEPAが行動計画を実証した事実は、別の軸を測っている。
GenCeptionや基盤のWan 2.1は評価対象に含まれないため、WorldReasonBenchの結果はGenCeption自体の性能を示すものではない。動画生成器一般を未来予測器として測った現在地として見ると、436件、4領域、22分類の課題で評価された11モデルはいずれも低い水準にある。共通80件のprocess-aware overallはSeedance 2.0が39.8で首位、Veo 3.1-Fastは35.3、Sora 2は34.3だった。最良のSeedance 2.0でも論理推論は31.7にとどまる。見た目の自然さと、力学や因果、情報を保った状態遷移の正しさは、まだ一致していない。
視覚版GPT-1の先に必要な検証
筆頭著者のLetian Wangは、GenCeptionを視覚基盤モデルの「GPT-1、あるいはGPT-1.5」に近い段階と表現する。この比喩は、成果の大きさと未完成さを同時に伝える。テキスト指示と共通出力形式でタスクを増やせるなら、コンピュータービジョンは深度推定器や分割器を個別に積み上げる開発から、巨大な生成基盤を後学習して使い回す開発へ移れる。一方、Wang自身も、一回推論へ変えたことで元の生成能力の一部を失ったと記している。
まず必要なのはコードの公開と、独立チームによる数値の再現である。動物やロボットへの汎化は、選んだ成功例ではなく、未学習カテゴリ全体の誤差で測る必要がある。その先では、行動を入力し、接触や物体の永続性を保った未来を長時間予測できるかが試される。予測をロボットの計画へ使い、現実の結果から誤りを更新できれば、知覚表現と世界シミュレーションの間に残る溝は狭まる。
GenCeptionは、動画生成器の内部に再利用可能な「世界の見取り図」が育つことを強く示した。次の発表で確認すべきなのは、その見取り図を使ってAIが未来を正しく選べるかどうかである。