現在、SoraやVeoに代表される動画生成AIの進化は目覚ましく、一目見ただけでは現実と区別のつかないレベルの映像を軽々と生み出すようになった。この技術的な飛躍を受け、一部では動画モデルが世界の物理法則や構造を理解する「世界モデル」へと到達しつつあるという見方が強まっている。しかし、映像の写実性と、その背後にある論理的な状況把握能力の間には、未だに埋め難い死角が存在している。
カリフォルニア大学バークレー校、スタンフォード大学、ハーバード大学、カーネギーメロン大学など、世界のトップ研究機関に所属する50名以上の研究者からなる国際コンソーシアムが、動画モデルに対する論理的・物理的な推論能力を測定する世界最大規模のベンチマークデータセット「Very Big Video Reasoning（VBVR）」を公開した。本稿では、VBVRが提示したデータセットの詳細な構造を紐解き、現在の最高峰とされる商用モデルの真の実力と、AI開発におけるパラダイムシフトの必要性を見てみたい。
表面的なリアリズムの裏側にある「制御不能な映像空間」
現在の主要な動画モデルは、テキストの指示（プロンプト）に従って極めて精巧なピクセルを配置し、視覚的に破綻の少ない映像を短時間で出力する能力においては完成の域に近づいている。しかし、これらに対して「格子状の迷路を最も効率的なルートで自律的に解く」「落下するオブジェクトの物理的な跳ね返りをシミュレーションする」といった、基礎的な物理法則や空間認識の能力を問うタスクを与えた瞬間、モデルの出力は混乱状態に陥る。
この問題の根源には、これまでの動画生成モデルが「推論プロセス」に関する十分な訓練を受けてこなかったという歴史的背景がある。これまで世界に存在していた動画モデル向けの推論系ベンチマークは規模が極めて小さく、テスト用データをすべて合計してもわずか1万2800件程度の手作業によるサンプルしか存在していなかった。モデルが自律的に論理回路を構築するための大規模な学習用データセットそのものが欠落していたのである。膨大な過去の映像データを無差別に投入し、視覚的な統計パターンから「次に来るべき映像フレーム」を予測させる手法だけでは、映像内に存在する物体の因果関係や状態の変化を正確に維持し続けることはできない。
VBVRデータセットが設定する過酷な検証システム
こうした技術的空白地帯を埋めるべく開発されたのが、今回のVBVRだ。約200万枚の静止画像と約100万本の動画クリップから構成されるこのデータセットは、推論タスクというジャンルにおいて従来比で約157倍という前例のない規模を提示している。
研究チームの取り組みは、単なるパズルの羅列に留まらない。アリストテレスから近代のカントに至る哲学の枠組み、そして現代の認知科学・神経科学の知見をインデックスとし、モデルに要求すべき能力を「知覚（Perception）」「変換（Transformation）」「空間性（Spatiality）」「抽象化（Abstraction）」「知識（Knowledge）」という5つの大分類に構造化した上でタスクを設計している。
これらのタスクは手動ではなく、すべてパラメータ化されたタスクジェネレーターというプログラム群によって動的に生成される。ジェネレーターは、グリッド空間のサイズ、空間内のオブジェクト数、障害物の配置といった変数を動的に受け取る。そして、初期フレーム画像、実行すべきタスクを記したテキストプロンプト、最終結末を表す最終フレーム画像、そして正しい思考プロセスを映像化したグラウンド・トゥルース動画の4要素を自動出力する仕様になっている。推論テストの際、モデルには初期フレームと指示テキストのみが与えられ、モデル自身の力で解決プロセスを動画として生成しなければならない。
これら数百万のデータ生成は、AWS Lambdaのインフラストラクチャ上で990台の並列コンテナを稼働させることで実現されており、100万件のサンプル出力がわずか数時間のうちに終了する体制が構築されている。生成された各サンプルは、オブジェクト同士の重なりやテキストの可読性などにおいて自動検証され、エラー率が1%未満という高水準なデータの品質管理が維持されている点も特筆に値する。
さらに、VBVRの評価フレームワークは、不確実な大規模言語モデル（LLM）を「審査員」として用いる手法を完全に排除している。モデルが迷路の壁をすり抜けていないか、あるいは不要な遠回りをせずに最適経路を進んでいるかというプロセスを、システムがルールのレイヤーで直接、かつ厳格に採点するシステムを採用しているのだ。
最高峰の商用モデルがさらけ出した敗北
VBVR-Benchという過酷な試験環境のもとで実施された評価結果は、現在の動画生成AIの現状に厳しい現実を突きつけた。
すべてのタスクを総合した結果において、人間が叩き出すベースラインスコアは1.0満点中0.974である。これに対して、現在最高峰と目されるOpenAIのSora 2は0.546、Google DeepmindのVeo 3.1は0.480という数字に留まっている。すなわち、映像生成においては圧倒的な品質を誇るモデルであっても、純粋な視覚的論理推論の領域においては人間の半分の能力にも到達していない。Runway Gen-4 TurboやKuaishou Kling 2.6なども0.3台後半から0.4台と低迷している。
ここで業界にとって決定的な出来事となったのは、オープンソースモデル「Wan2.2」を利用した比較実験である。研究チームがVBVRデータセットを用い、LoRA（Low-Rank Adaptation）によってWan2.2に限定的な微調整（ファインチューニング）を施した「VBVR-Wan2.2」というモデルが構築された。この微調整モデルは、総合スコアで0.685という数値を弾き出した。元のWan2.2の性能から84.6%もの飛躍を遂げた上で、圧倒的な計算資源を投入して構築されているはずのSora 2やVeo 3.1など、すべての独自商用モデルを出し抜いてトップに躍り出たのである。専用に設計された高品質なデータセットによる推論訓練の重要性が、ここに見事に証明された。
「データ拡張路線」の限界値
微調整モデルの高いパフォーマンスは希望的観測を抱かせるが、その奥には重篤な課題も内包されている。研究チームはデータセットの学習規模を数万件から50万件へと段階的に増やしていく「スケーリングスタディ」を実施し、学習データの増加とそれに伴う推論性能の相関をグラフ化した。
その結果において、訓練期間に経験したことのある「既知のタスク（In-Domain）」における推論スコアは、データ総数が40万件付近に到達するまでは力強い上昇を描く。しかし、その閾値を超えた時点でパフォーマンスの上昇は完全に頭打ちになり、それ以上データを追加してもスコアが停滞するという現象が発生した。さらに重大なのは、学習セットには存在しない「未知のタスク（Out-of-Domain）」における汎化性能の限界である。こちらも上限値である0.610付近に至ると完全に成長が停止する。既知のタスクスコアと未知のタスクスコアの間には常に15パーセンテージポイントの明確なギャップが存在し続けており、この溝は埋まっていない。
この現象は、現在採用されているTransformerアーキテクチャやDiffusionアーキテクチャそのものが、動画の情報を論理関係の連続体として解釈する上での構造的な限界である可能性を示している。テキスト言語モデルの拡張に見られた「データさえ増やせば知能は後から追従してくる」という素朴なスケーリング則は、時空間情報を伴う映像推論の世界においては機能しない。モデルの認知プロセスに状態維持機能（State Tracking）や思考経路の自己修正メカニズムを組み込むなど、ニューラルネットワークの根源的な設計変更が必要不可欠となっている。
制御性という前提を失った推論の無力さ
なぜ高性能なモデルが単純な物理パズルを解き損なうのか。VBVR-Wan2.2とSora 2の動作における定性的な比較分析から導き出された結論は、「プロセスの制御性」の決定的な欠落である。
例えば「指定されたオブジェクトを画面から消去せよ」というタスクにおいて、Sora 2は目的の対象物を消すと同時に、本来は維持すべき背景のレイアウトを意図せず改変したり、関係のない別の物体の色を塗り替えるといった動作を高頻度で発生させる。「図形を指定された角度だけ回転させよ」というタスクでは、オブジェクト単体ではなく画面の境界線全体までもが歪んでしまう。
推論という行為は、複数の論理的ステップを矛盾なく積み重ねることで成立する。プロセスの中間段階で背景が勝手に変化してしまったり、無関係な要素がランダムに生成・消失するようでは、その後に続く因果関係はすべてリセットされ、計算の前提が崩壊する。微調整を受けたVBVR-Wan2.2は「要求された要素のみを変更し、それ以外は維持する」という厳密な制御能力を獲得していたからこそ、Soraを凌ぐ高いスコアを叩き出したのだ。真の検証可能な推論能力の獲得には、ピクセルレベルでの強固な制御フレームワークの構築が絶対条件である。
認知タスク間の相関が物語るアーキテクチャの真理
本研究の副産物として得られたデータの中に、モデルの全般的な性能（Model Strength）というノイズを差し引いた後の、5つの認知能力カテゴリ同士の相関関係がある。
分析の結果、「知識（Knowledge）」に関する推論で高いスコアを獲得するモデルは、「空間性（Spatiality）」の処理能力も総じて高い傾向にあることが判明した（ピアソン相関係数0.461）。空間情報の処理と論理的な知識の適用が強固に結びついているというこの構造は、生物の神経科学研究と完全に符合している。人間の脳にはナビゲーションシステムとしての海馬が存在し、そこにある場所細胞が空間を認識している。そしてこの同じ海馬こそが、抽象概念や事実といった記憶知識の構築に不可欠な部位でもある。人工的なニューラルネットワークにおいても、空間座標の正確な把握能力と、世界の物理情報の適用能力とが同じ根本処理の基盤に依存している可能性は極めて興味深い。
一方、「知識」と、対象の識別能力である「知覚（Perception）」の間には明確な負の相関（-0.757）が表れている。抽象的な概念や知識ベースの推論に過剰に最適化されたモデルは、目の前の素朴な差異や形状を直接認知する能力を減衰させる傾向にある。それぞれの認知能力は独立して存在しているわけではなく、トレードオフのバランスの上に成り立っている。
今回のVBVRデータセットの公開は、一時的なベンチマークの更新という出来事ではない。タスク生成ジェネレーターという形で標準規格のインフラストラクチャが提供されていることで、新しいタスクの追加は容易であり、この先モデルの性能向上に伴って評価のハードルそのものが引き上げられていく。
単なるデータ量の拡張に依存したモデル開発の力技は、すでに動画推論という壁の前で足止めを食らっている。これからの動画生成AI開発においては、映像空間内の因果関係や状態変化をシステム規模で確実化させるアーキテクチャが勝負の分水嶺となるだろう。
論文
参考文献
