東京大学と科学技術振興機構（JST）は2026年11月6日、大規模言語モデル（LLM）などの生成過程を確率熱力学の観点から解析する新たな理論を発表した。東京大学大学院工学系研究科物理工学専攻の沙川貴大教授による単著論文で、文章などの系列が順方向と逆方向に現れる確率を比較し、AIが出来事の順序をどのように学習しているかを調べる手法を示した。例えば、「コップが落ちた。コップが割れた。」という2文の順序を入れ替えると、言語モデルが与える確率はどう変わるのか、という問いだ。解析の対象は生成系列の確率構造における不可逆性であり、半導体の発熱や消費電力ではない。英語の合成文を使った実験では、出来事の順序によって確率に違いが生じることが確認されたが、AIが現実世界の因果法則を理解していると証明されたわけではない。
生成過程の「逆向き」は何を比べるのか
LLMは文章を生成する際、それまでに出力した単語などを手掛かりに、次の出力を確率的に選択する。このような仕組みを「自己回帰生成モデル」と呼ぶ。次の出力は直前の出力だけでなく、それ以前の履歴にも依存する。今回の理論では、こうした履歴を内部状態に集約し、その状態に基づいて出力確率を計算するという自己回帰モデルの構造を利用している。
沙川教授が比較するのは、通常の順序で系列を生成する「順方向過程」と、同じ構成要素を時間的に逆の順序で扱う「後退過程」だ。それぞれの過程で特定の系列が現れる確率を求め、その比の対数から「エントロピー生成」を定義する。これにより、モデルが系列に与える確率を使って、時間の向きを逆転させたときに生じる非対称性を数値化できる。
平均エントロピー生成は、順方向と後退過程の経路確率分布の違いを表すKLダイバージェンスに一致し、必ず0以上となる。一方、個々の系列について計算する確率比の対数は、負の値を取ることもある。つまり、平均に対して成立する非負性が、すべての文章や系列について成立するわけではない。
ここでいう熱力学は、生成系列の確率構造を対象とするものだ。JSTの発表資料でも、コンピューターから発生する物理的な熱とは明確に区別している。したがって、エントロピー生成の値を、そのまま消費電力量や冷却負荷に換算することはできない。
今回の理論的な貢献は、履歴に依存する確率過程の熱力学を初めて構築したことではなく、自己回帰生成モデルに共通する構造を利用して、それらを統一的に解析できる枠組みを示した点にある。対象はTransformerだけでなく、再帰型ニューラルネットワーク（RNN）やカルマンフィルターにも及び、状態空間モデルやMambaにも適用可能な枠組みとなっている。論文では線形ガウスモデルについても、理論から導いた解析式とモンテカルロ計算の結果が一致することを確認しており、言語における出来事の順序を物理学になぞらえただけの研究ではない。
また、この枠組みでは、過去の履歴について考えられるすべての組み合わせを列挙する必要がなく、標本として生成した系列とモデルの出力確率からエントロピー生成を推定できる。これにより、履歴の組み合わせが指数関数的に増える問題を回避できるが、LLMの推論計算そのものが不要になるわけではない。解析にはモデルが出力に割り当てる確率へのアクセスも必要となるため、生成された文章しか取得できない商用APIに、そのまま適用できるとは限らない。
論文は11月5日付で査読付き学術誌『PRX Intelligence』に掲載された。DOIは10.1103/tv38-b23yで、プレプリントの初版は同年4月9日に公開されている。今回の発表は、研究成果の査読誌への掲載と、それに伴う東京大学・JSTの共同発表に当たる。
文法を保ち、文の順序だけを反転
文章を構成するトークンを単純に逆順に並べ替えると、出来事の前後関係だけでなく文法まで崩れてしまう。その結果、モデルが与える確率が大きく低下しても、それが出来事の順序を捉えているためなのか、単に不自然な文章になったためなのかを判断しにくい。そこで今回のLLM実験では、各文の内部の語順は変えず、4文からなる文章の文単位の並びだけを逆転させた。冒頭で紹介したコップの2文は仕組みを説明するための日本語例であり、実際の実験には英語の4文からなる文章が使われている。
実験用の文章を作成したのは、Claude Opus 4.6、Claude Fable 5、Gemini 3.1 Pro、GPT-5.4 Pro、GPT-5.6 Proの5モデルだ。各モデルに、出来事が時間的・因果的につながって進行する文章を100本、互いに独立した事実を列挙する文章を100本生成させ、モデルごとに計200本の文章群を用意した。論文では前者を「因果」、後者を「非因果」と分類しているが、これは文章を生成する際の指示に基づく区分であり、個々の文章の因果関係を形式的に検証した結果ではない。
こうして作成した文章に確率を割り当てる評価器には、GPT-2とQwen3-4B-Baseの2モデルを使用した。GPT-2は約1億2400万パラメーター、Qwen3-4B-Baseは40億パラメーターの学習済みベースモデルで、いずれも会話向けに調整されたチャットモデルではない。両評価器には、同じ5つの文章群を入力して比較した。
したがって、この実験は文章を作成した5モデルの能力を採点するものではない。異なる評価器を使っても、文章の順序を反転させたときの確率の違いが共通して現れるかを調べることが目的だ。文単位の反転によって文法の崩壊という問題は避けられるものの、文と文のつながりに影響する要因をすべて排除できるわけではない。
5つの文章群で何を確認したか
実験では、文単位の反転から求めた確率的エントロピー生成を文章のトークン数Tで割った値を比較した。「因果」と「非因果」の2群について、この値の違いを調べ、差の方向と大きさを順位双列相関係数（r）で評価している。rが正であれば、出来事が順に進む「因果」の文章群で、指標の値が高くなる傾向があることを意味する。ただし、これは因果関係を正しく理解した割合や、モデルの因果推論能力を直接表す指標ではない。
以下は、原論文の表II・IIIに示された文単位反転のrを、入力文の作成モデルごとに整理したものだ。
| 入力文の作成モデル | GPT-2のr | Qwen3-4B-Baseのr |
|---|---|---|
| Claude Opus 4.6 | 0.4572 | 0.5692 |
| Claude Fable 5 | 0.2712 | 0.3772 |
| Gemini 3.1 Pro | 0.2624 | 0.4438 |
| GPT-5.4 Pro | 0.0934 | 0.3542 |
| GPT-5.6 Pro | 0.0936 | 0.1640 |
各文章群について、「因果」と「非因果」の文章を100本ずつ使用し、両側Mann–Whitney U検定で比較した。結果を見ると、5つの文章群すべてで、GPT-2とQwen3-4B-Baseの両方のrが正となった。つまり、今回の合成文では、出来事が順に進む文章と独立した事実を列挙する文章の間に、評価器を変更しても同じ方向の差が現れたことになる。多重比較の補正を行わない個別の検定では、GPT-2で3組、Qwen3-4B-Baseで5組が統計的に有意と判定された。
ただし、この有意性には注意が必要だ。報告された個別のp値には多重比較の補正が適用されておらず、Qwen3-4B-Baseにおける最大のp値は0.04525と、一般的な有意水準の0.05に近い。したがって、「5組すべてで有意」という結果は、未補正の個別検定に基づくものとして解釈する必要がある。論文には各rの推定値に対する95%ブートストラップ信頼区間も示されており、効果量の点推定値だけでは、その不確かさを十分に評価できない。
標本の作成方法にも制約がある。各文章群は1回のモデル応答からまとめて生成されており、群内の文章が統計的に独立しているとは限らない。また、各カテゴリで固定された例文が1本ずつ、5つの文章群すべてに共通して含まれている。残る99本ずつは作成モデルごとに異なるものの、5群全体を完全に独立した標本として扱うことはできない。
今回の結果は、同じ研究の中で評価器を変更して得られたものであり、独立した研究者による追試ではない。さらに、GPT-2とQwen3-4B-Baseでは文章をトークンに分割する方法も異なる。表に示したrは、各評価器の内部で「因果」と「非因果」の文章群の差を表した値であり、1トークン当たりのエントロピー生成の絶対値を直接比較したものではない。表の数値や行の並びから、評価器や文章作成モデルの総合的な能力順位を判断することもできない。
時間の順序と因果関係は同じではない
文章の順序を反転させたときに生成確率が変化することと、AIが現実世界の原因と結果を理解していることは別の問題だ。今回の実験における「因果／非因果」という分類は、文章を生成する際の指示によって決められている。因果依存性の有無を形式的な基準で確認し、その条件だけを変えた実験ではない。このため、観測された差を、そのまま因果関係の学習によるものと解釈することはできない。
例えば、ある出来事が別の出来事より先に起きること、文章の中で特定の順序で語られやすいこと、前の出来事が後の出来事の原因であることは、それぞれ異なる関係だ。言語モデルが文章に与える確率には、現実世界の因果関係だけでなく、時間的な順序や文章構成の慣習も反映される。文の内部の語順を維持して反転させても、こうした要因が混在する可能性は残る。
沙川教授も論文の中で、文単位の反転によって差が確認されたことだけでは、一般的な因果構造を定量的に評価する指標が確立したとはいえないと説明している。今回測定されたのは、あくまでも特定の合成文章群に対してモデルが割り当てた確率の違いだ。その差のうち、どの程度が因果関係の学習に由来するのかを明らかにするには、別の検証が必要となる。
また、意味を変えずに文章を言い換えた場合にも、同じ関係が検出されるかという問題がある。表現や語り方を変更しても指標が安定するのであれば、単なる文章の形式にとどまらない情報を捉えている可能性が高まる。順序に対する反応を、AIが内部に獲得した世界についての表現と結び付けるには、文章の意味と表面的な構成の影響を切り分けた実験が欠かせない。
「世界モデル」の解析に向けて残る課題
今回の研究が目指す方向の一つは、AIが内部に獲得する「世界モデル」の定量的な解析だ。ここでいう世界モデルとは、現実世界の構造や変化について、モデル内部に形成される表現を指す。今回の理論は、こうした内部表現を調べるための第一歩と位置付けられている。
理論上、平均エントロピー生成は、各時刻に対応する非負の寄与に分解できる。さらに、それぞれの寄与は「圧縮損失」と「モデルの不一致」という2つの要因に分けられる。圧縮損失は、未来側の履歴を内部状態へ集約する際、過去を推定するために必要な情報が失われることを意味する。一方、モデルの不一致は、順方向の予測に使う出力確率を逆方向に適用した際に生じる不一致を指す。いずれも、一般的な学習データの圧縮率や、文章生成における誤りを意味するものではない。
ただし、これらの寄与を効率よく推定する方法は、現時点では確立されていない。理論上はエントロピー生成を複数の要因に分解できても、今回のLLM実験で、それぞれの寄与を分離して測定できたわけではない。合成文の文章群の間に確率的な差があることを確認した成果と、その差を生み出すモデル内部の仕組みを解明することは、分けて評価する必要がある。
また、この研究は既存の生成モデルを解析するための理論を構築したものであり、新たな訓練方法を提案したり、モデルの性能向上を実証したりしたものではない。省電力化やハルシネーションの削減といった効果が確認されたわけでもない。今後は、理論から導かれる指標を、実際のモデルの性質を診断する手法へと発展させられるかが重要になる。
著者は研究に用いたコードとデータを公開しており、GitHubのREADMEには、GPT-2を用いたトークン単位・文単位の評価や、線形ガウスモデルの実験が記載されている。今後の課題は、因果関係と時間的な順序を厳密に制御した文章でも指標が有効に働くか、独立した標本や第三者による追試でも同様の傾向が確認されるか、さらに理論上の各寄与を実際に推定できるかという点だ。これらが検証されれば、文章の順序によって生成確率が変わる現象を観測するだけでなく、AIの内部状態にどのような情報が保持され、どのような情報が失われているのかを定量的に調べる手法へと発展する可能性がある。
