Randall BalestrieroとYann LeCunは2026年10月29日、画像と言語で別々に学習したモデルの内部表現が、どのような条件で似た構造になるのかを理論と実験で検証した論文をarXivに公開した。同じ場面を異なる言葉で説明した文章を学習ペアに使う「良いビュー（good view）」型のJEPAは、2160万サンプルの学習で表現の整合値0.109に達した。一方、文章の続きを予測する次トークン予測モデルは、9億サンプルの学習で0.111を記録した。公表された学習到達点を比較すると、サンプル数に約42倍の差がある。
ここで比較しているのは、画像や文章を数値ベクトルに変換した「表現」において、データ同士の位置関係がどれだけ似ているかという指標だ。研究の重要な点は、単にモデルの規模を拡大するのではなく、何を同じ場面の観測として結び付けるかによって、画像と言語の表現の一致度が大きく変わる可能性を示したことにある。ただし、約42倍という数字は学習サンプル数の比較であり、計算量や学習コストが42分の1になることを意味しない。また、理論上の保証にも複数の条件があり、実際のモデルがすべての条件を満たしているわけではない。
同じ場面を異なる言葉で説明した文章を学習に使う
ブラウン大学とAMI Labsに所属するRandall Balestriero、ニューヨーク大学とAMI Labsに所属するYann LeCunによる今回の研究は、2024年に提唱された「プラトン的表現仮説」を出発点としている。この仮説は、規模を拡大した画像モデルと言語モデルでは、学習した表現におけるデータ間の距離関係が次第に似てくるという観察に基づく。画像から学んだモデルも文章から学んだモデルも、最終的には共通する世界の構造を捉えるのではないかという考え方だ。今回の研究では、そのような一致が生じる十分条件を理想化した学習モデルで導き、実際の学習でも表現の一致度を改善できるか検証した。なお、論文はプレプリントとして公開されており、査読済みの掲載誌は確認されていない。
研究で用いたJEPA（Joint-Embedding Predictive Architecture）は、対応する二つの観測をそれぞれ数値ベクトルに変換し、その表現を近づける手法だ。同時に、すべての入力が同じベクトルに変換される「表現の崩壊」を防ぐ仕組みも備える。入力をベクトルに変換する部分をエンコーダー、学習時に対応するものとして扱う観測の組を「正例」と呼ぶ。例えば、芝生を走る同じ犬を二人が異なる言葉で説明した場合、文章の表現は違っても、犬や動作といった場面の内容は共通している。著者らは、このように同じ場面を別々に観測した組を「良いビュー」と定義しており、同じ画像に付けられた異なる説明文や、同じ動画の別々のフレームなどが該当する。
これに対し、一つの文章の一部を隠して二つの入力を作ると、場面の内容だけでなく、その文章特有の語順や言い回しまで共有される。画像を切り抜いて学習ペアを作る場合も、元画像の撮影視点や照明条件などが残る。著者らは、こうした一つの観測から派生した組を、異なる種類のデータ間で表現をそろえるという目的に照らして「悪いビュー（bad view）」と呼んでいる。ただし、これはマスキングや切り抜きが学習方法として劣っているという意味ではなく、何を学習させたいかによって有用性は変わる。
著者らはさらに、文章の前半から次のトークンを予測する学習も、文書の前半と続きの関係を使うJEPAの一種として定式化できると説明している。次トークン予測では、文章固有の語順など、画像とは直接対応しない情報も学習するため、画像表現との一致が妨げられる可能性があるという。ただし、この定式化と表現の一致を保証する定理では適用条件が異なるため、著者らは学習目的による違いを実験でも検証している。
「42倍」は学習サンプル数の比較
実験では、画像と言語の表現がどれだけ一致しているかを測るため、「mutual 10-NN」という指標を用いた。これは、各データに近い10件のデータを画像側と文章側でそれぞれ求め、近傍関係がどの程度一致するかを評価するものだ。二つの表現空間の座標軸を事前に合わせる必要がなく、表現の内部構造を比較できる。ただし、画像分類の正答率や文章生成の品質とは異なる指標である。
最初の実験では、Flickr30kの訓練用画像2万9000枚と、各画像に付けられた5文ずつの説明文、合計14万5000文を使用した。画像エンコーダーと文章エンコーダーは別々に学習するが、文章側のJEPAには、同じ画像に対応する説明文のグループを正例として与える。比較対象の次トークン予測モデルにも同じ画像に属する2文を与える条件を設け、複数の説明文に接すること自体の効果と、それらの表現を近づける学習目的の効果を切り分けた。
さらに大規模な実験には、最大9億4000万枚の画像を含むRecap-DataCompを使用した。学習材料は、各画像に対応する代替テキストと、画像言語モデルLLaVAが生成した二つの説明文だ。論文の第4.2節では、同じ1億900万パラメーターのBERT系モデルを使い、同じコーパスに由来する文章で学習した際の到達点を次のように比較している。
| 項目 | 良いビュー型JEPA | 次トークン予測 |
|---|---|---|
| パラメーター数 | 1億900万 | 1億900万 |
| 学習サンプル数 | 2160万 | 9億 |
| WITの整合値 | 0.109 | 0.111 |
| 処理した文章量 | 1サンプルで3文 | 総トークン数はJEPAの約14倍 |
| 学習率 | 0.0001 | 0.0002 |
| バッチサイズ | 256 | 2048 |
9億を2160万で割ると約41.7となり、近い整合値を記録した時点の学習サンプル数には約42倍の差がある。ただし、JEPAは1サンプルで3文を処理するため、実際に読み込んだテキストのトークン数で比較すると、その差は約14倍に縮まる。このトークン数の比率は論文で公表されたものであり、絶対数までは示されていない。したがって、「42倍少ないデータで同等の性能を達成した」という説明は、何をデータ量として数えるかを明確にする必要がある。
さらに重要なのは、論文では次トークン予測モデルの9億サンプルより前のチェックポイントを評価していない点だ。9億サンプルに達する前に同程度の整合値を記録していた可能性は排除できないため、今回の結果だけで同等の整合に必要な最小サンプル数が42倍違うと結論付けることはできない。また、二つのモデルでは学習率とバッチサイズも異なる。GPUの実行時間、消費電力、学習費用などを比較するには、それぞれの実行条件と処理速度を別途測定する必要がある。今回確認されたのは、同規模のモデルに異なる学習方法を適用した結果、公表された到達点のサンプル数に大きな差が生じたという事実である。
表現の一致を保証する定理には条件がある
今回の理論が扱う「回転を除いて同じ表現」とは、ベクトル空間の座標軸の向きが異なっていても、データ同士の位置関係が対応している状態を指す。画像と文章からそれぞれ作った地図を回転させると、点の配置が重なるような関係だ。そのため、画像エンコーダーと文章エンコーダーが出力する数値そのものが最初から一致している必要はない。
ただし、定理が成立するには複数の前提がある。まず、世界の状態が有限個であり、各観測から対応する世界状態を区別できることを仮定する。さらに、画像側と文章側で学習する正例について、背後にある世界状態の出現分布（周辺分布p）と、正例として結び付ける世界状態の組の分布が一致していなければならない。そのうえで、分布全体に対する最適解へ到達し、回転による違いを除けば解が一意に定まることが必要となる。
こうした条件は、有限の学習データを使い、限られた計算時間で学習を終了する現実のモデルとは異なる。画像には写っていない物体があり、文章にも明示されていない状況があるため、観測だけから世界の状態を完全に識別できるとは限らない。著者らも、実際の実験が定理の仮定を厳密には満たしていないことを認めている。したがって、今回の定理は、一定の条件を満たせば表現が一致することを示すものであり、現実のあらゆる画像モデルと言語モデルが同じ表現に収束するという証明ではない。
解の一意性についても、証明できた範囲には違いがある。表現の分散と相関に条件を課す「白色化された二次統計」の設定では、行列の固有値を使うスペクトル解析により、固有値間に十分な間隔がある場合の一意性を証明した。一方、実験で使用したLeJEPAでは、SIGRegによって表現の分布全体に制約を課しており、この場合に解が一意となることは証明されていない。異なる観測間で正例の分布がずれた際に、表現のずれを一定範囲に抑えられるという結果も、スペクトル解析による解に適用されるものだ。
また、理論で扱う予測器は、入力をそのまま出力する恒等写像に限られる。行動を条件に将来の状態を予測するような、学習済み予測器を持つ世界モデルは対象に含まれない。今回の定理は、異なる観測から共通する世界の構造を学習できる条件を明らかにした成果だが、より一般的なモデルに適用するには、観測方法や最適化に関する条件をさらに検証する必要がある。
巨大LLMとの比較には学習データの違いもある
論文の表3では、WIT-1024と画像モデルDINOv2 ViT-Bの表現を基準に、複数の言語モデルとの一致度を比較している。良いビュー型JEPAのmutual 10-NNは0.184となり、同規模の次トークン予測モデルの0.111を上回った。さらに、Qwen2.5-72Bの0.154、Llama-3-70Bの0.151よりも高い値を記録している。これは画像側と文章側で近傍関係が一致する度合いを測定した結果であり、小型JEPAが巨大LLMよりも言語推論やコーディングで優れているという意味ではない。
また、0.184という値は9億サンプルを学習した時点の結果であり、前述の2160万サンプルで得られた0.109とは学習量が異なる。表3の主要な数値は、表現の崩壊を防ぐSIGReg項に同じ有効重みを設定した3種類の乱数シードによる結果だ。一方、SIGRegの有効重みを2倍にした第4のシードでは0.121に低下しており、4シード全体の平均は0.168となる。主要な設定で高い値を記録したことは確かだが、学習設定によって結果が変わる点にも注意が必要である。
もう一つの重要な条件が、学習に使った文章の由来だ。大規模実験では、Web画像に付けられた代替テキストに加え、画像を見たLLaVAが生成した説明文を使用している。このLLaVAの画像エンコーダーにはCLIP ViT-L/14が使われている。つまり、文章エンコーダー自体は画素を直接処理していなくても、学習ペアに含まれるAI生成説明文を通じて、視覚情報に由来する内容を学習していることになる。実際、代替テキストに文章だけから作った言い換えを追加した条件ではWITの整合値が0.060だったのに対し、画像を基に再生成した説明文を使うと0.107に上昇した。学習目的だけでなく、説明文の作成方法も表現の一致度に影響している。
この違いは、比較対象によって意味が変わる。同じ生成文章を使ってJEPAと次トークン予測を比較する実験では、共通の文章データを使った学習目的の違いを調べられる。しかし、既存の巨大LLMとの比較では、訓練データの内容も、画像由来の情報をどのように取り込んだかも異なる。そのため、整合値の差を特定の学習目的だけによるものと判断するには、追加の対照実験が必要となる。
評価データの重複についても、著者らは確認結果を公表している。WITの1024件の説明文のうち、少なくとも43件が訓練データの代替テキストに含まれていた。これらを除いて9モデルを評価したところ、整合値の変化は最大0.002であり、著者らは影響が小さいと報告している。一方、ハイパーパラメーターを調整したのは良いビュー型JEPA側で、対照モデルには同じ調整を実施していない。学習条件を統一し、独立した評価データを用いて結果を再検証することが、比較の信頼性を高めるうえで重要になる。
画像説明への応用と残る検証課題
今回の成果が示唆するのは、モデルの規模だけでなく、学習時にどの観測同士を結び付けるかが、異なる種類のデータ間で表現をそろえるうえで重要だということだ。ただし、理論上の保証と実験結果を同じものとして扱うことはできない。定理が成立する条件、同じ文章を使った学習目的の比較、既存の巨大LLMとの比較、画像から文章を生成する応用実験では、それぞれ前提が異なる。
| 検証内容 | 学習・調整に使う情報 | 確認できたことと残る条件 |
|---|---|---|
| 理論上の定理 | 理想化した共通の正例分布と周辺分布 | 条件を満たせば回転を除いて表現が一致する。一意性や最適解への到達が前提 |
| 同じ文章を使った学習目的の比較 | 同じ画像に対応する説明文グループとAI生成文章 | 公表到達点での整合値とサンプル数の差。学習設定の違いを考慮する必要がある |
| 既存の巨大LLMとの比較 | 異なる訓練データと画像由来の説明文 | 特定の整合指標で優位性を記録。共通条件での追加検証が必要 |
| 画像キャプション生成 | 画像と文章の表現を対応させる約3万ペア | 条件付きで文章生成に成功。写像の調整と候補文の選択が必要 |
実際の応用例として、著者らは画像から説明文を生成するシステムを構築した。重みを固定したDINOv2やDINOv3の画像エンコーダーの表現を、線形写像によって文章側の表現空間に変換し、文章だけで微調整したQwen2.5-1.5Bなどの言語モデルと組み合わせている。COCOで最高のCIDEr 0.838を記録した構成では、Flickrの約3万件の画像・文章ペアを使って写像を調整し、32個の候補文の合意度を利用して最終的な説明文を選択した。CIDErは生成された説明文の品質を評価する指標であり、0.838を正答率83.8%と解釈することはできない。
また、画像と言語で表現の次元数が異なる場合、それらを結び付ける線形写像は、同じ次元の表現空間を回転させるという定理の直接的な保証範囲には含まれない。画像と文章を使ってエンコーダーを共同学習しなくてもシステムを構築できる一方、最高のキャプション生成性能を得るためには、対応する画像・文章ペアによる写像の調整が必要だった。
著者らは、対応する画像・文章ペアを一切使わずに表現空間をそろえる実験も実施した。COCO train2014の画像と文章を、互いに対応しない二つのグループに分けて写像を推定し、ImageNet-100のゼロショット分類ではtop-5正答率64.4±3.6%を記録した。同じ条件で再実行したQwen3-8Bは47.6%、CLIPのテキストエンコーダーは68.7%だった。この結果は、対応ペアを使わずに異なる表現空間を結び付けられる可能性を示しているが、最高のキャプション生成性能を得た実験とは異なる条件によるものだ。また、画像と言語の近傍関係を測るmutual 10-NNとも別の評価である。
著者らは、実験コード、実行引数、再現手順、デモをGitHubで公開しているが、独立した研究チームによるGPU再学習を伴う追試は確認されていない。今後は、画像由来の説明文が結果に与える影響を明らかにするとともに、学習設定と評価条件をそろえた比較が求められる。さらに、同じ場面を表す複数の観測を収集・生成する費用まで含めて効率を検証する必要がある。こうした条件でも優位性が確認されれば、モデルの大規模化だけに頼らず、学習データの結び付け方を工夫することで画像と言語を効率的に扱う、新たな設計の選択肢となるだろう。
