Claude Opus 4.6はSWE-bench Verifiedで80.8%のスコアを記録し、プロのエンジニアが数時間かけて解くGitHub上の実際のバグ修正を自動で解決できるレベルに達している。数学オリンピック問題を解き、複雑なコードリファクタリングを指示通り実行する。ところが、同じモデルが「ちょっと最近どうですか」という雑談に妙な返答をしたり、「ランチに何がいいですか」という質問に不自然なほど饒舌な回答を返したりすることがある。この逆説の正体を、元OpenAI研究者のAndrej Karpathy氏は「jagged intelligence（凸凹な知能）」と呼ぶ。RLVRという訓練手法が構造的に生み出す、必然の非対称性だ。その本質を最も鮮明に示すのが、後述するMITの「Quickly sit Paris clouded?」実験だ。
LLMの「凸凹な知能」——なぜ天才が日常会話に詰まるのか
Karpathy氏は2025年のLLMレビューで、現代のLLMを「同時に天才的な博識家であり、認知的に困難を抱えた小学生でもある」と表現した。この言葉は観測データが裏付けている。最新のフロンティアモデルは、査読論文の内容を要約し、複数のプログラミング言語を横断して動作するコードを生成し、微積分や統計の問題を解く。一方で、「昨日の夕飯は何でしたか」「最近疲れてませんか」という会話では、文脈に対して過剰に詳しい情報を展開したり、相手の意図を読み違えたりする。
この非対称性の根本にあるのは、特定の訓練メカニズムの偏りだ。コーディングや数学での高性能は、それらのドメインに特化した訓練サイクルが効果的に機能した結果であり、知能全体の底上げとは異なる現象だ。能力は均一なスロープではなく、山と谷が混在した地形のように分布している。
RLVRが生む構造的な非対称性
MMLU（Massive Multitask Language Understanding）やHellaSwagといった汎用ベンチマークが2024〜2025年に飽和状態に入り、フロンティアモデル間の差をほぼ測定できなくなった。代わりに主戦場となったのは、実際のGitHubリポジトリのバグ修正を評価するSWE-benchや、数学オリンピック問題を使うAIMEだ。これらは「正解が明確に確認できる」という共通点を持ち、その背景にあるのがRLVR（Reinforcement Learning from Verifiable Rewards：検証可能な報酬による強化学習）だ。
このRLVRとは、コード実行結果や数式の正誤など「自動的に検証可能な」フィードバックを使ってモデルを強化学習で訓練する手法だ。2025年にLLM訓練の標準的な追加ステージとして定着した。コードを書かせてテストを通過すれば報酬、失敗すれば罰則——このサイクルを大規模に繰り返すことで、モデルはコーディングや数学のタスクで飛躍的に性能を伸ばした。
RLVRは「検証できないタスク」には機能しない。「この雑談は自然か」「この返答は相手の感情に合っているか」という問いに、自動検証システムが正誤を判定できないからだ。コードにはコンパイラがあり、数式には答えがある。雑談の「自然さ」を機械が自動採点するシステムは存在せず、RLVRが徹底的に最適化するドメインと、そもそもRLVRが機能しないドメインの間に、構造的な断絶が生まれる。
Karpathy氏はこの観点から、タスクの「検証可能性」を自動化適性の指標として提示した。「タスク・職種が検証可能であればあるほど、新しいプログラミングパラダイムによる自動化に適している」という主張だ。コーディング、数式処理、データ変換、法的文書のフォーマットチェックは高度に自動化できる。カウンセリングやネゴシエーションといった対人コミュニケーションは、評価基準を人間が担い続ける領域として残る。
MITが実証した「構文依存」という別の証拠
RLVRの問題とは独立した経路でも、同じ構造的欠陥が確認されている。2025年11月、MITの研究グループが「Syntactic-Domain Spurious Correlations（構文-ドメイン擬似相関）」と名付けた現象を発表した。LLMが正答を導く際に、意味の理解ではなく文の構文パターンに依存しているという発見だ。
研究チームはGPT-4やLlamaなどのモデルに「Quickly sit Paris clouded?」という無意味な文を提示した。文法的に崩壊していて意味をなさないが、この文は「Where is Paris located?」と同じ品詞パターン（副詞・動詞・固有名詞・形容詞）を持つ。多くのモデルはこの問いかけに「France」と正答した。構文パターンへの反応として正答を生成しており、意味処理の結果ではない。
モデルが正答を返すとき、それが真の意味での推論によるものか、訓練データ中のパターンへの高度なマッチングによるものかは、外側から観察するだけでは判別できない。SWE-benchで高スコアを出したモデルが、コードの「意味」を理解しているのか、構文パターンを正確に再現しているのかも、厳密には区別が難しい。RLVRが強化するのは「正解を出す能力」であって、「理解する能力」との一致は保証されていない。
「幽霊召喚」という見方が示す展望
Karpathy氏はもう一つの比喩でLLMの本質を説明する。LLMは「動物（Animals）」を育てるのではなく、人類の書き記した膨大なテキストから「幽霊（Ghosts）」を召喚する行為だというフレームだ。生き物のように目的や欲求を持って成長する主体を構築するとは異なり、書かれた記録の中に潜在する知性の断片を呼び出す営みとしてLLMを捉える。
人類の書き記したテキストは均一に検証されていない。コードにはコンパイラとテストがあり、数式には答えが存在し、クイズには正解が記録されている。ところが日常会話には、「何が良い返答か」を定義するラベルがほぼ存在しない。
幽霊を召喚するとは、そのテキストの分布を丸ごと引き継ぐことだ。検証済みのドメインから召喚された知性は精緻になり、検証のないドメインから召喚された知性は粗くなる。人類の記録物の構造的非対称性が、そのままjagged intelligenceとして現れる理由がここにある。
OpenAIがuniversal verifier——全ドメインでRLVRを機能させる普遍的な検証器——を開発中との報道がある。実現すれば、検証可能な領域と不可能な領域の断絶を埋めるアプローチになり得る。ただし「日常会話の自然さ」を自動採点するシステムを設計するには、「何をもって良しとするか」という概念的な問いに先に答える必要がある。
LLMのどの判断を信頼し、どの部分を人間が補完するかを決める上で、凸凹な知能の構造を理解することは実践的な指針になる。コーディング・数式処理・文書変換は高い精度で自動化でき、感情的文脈や対人コミュニケーションでは人間の判断が機能する。この分岐点を把握することが、AIと人間の協働設計の出発点になる。
Sources
