Google DeepMindの著名な研究者、David Silver氏とRichard Sutton氏が、AIの新たな進化の方向性「経験の時代（The Era of Experience）」を提唱した。これは、AIが人間が生み出した既存のデータから学ぶだけでなく、環境との相互作用、つまり「経験」を通じて自律的に学習し、人間の能力を超える可能性を探るものだ。彼らの論文は、現代AIの限界点を指摘し、その先の未来像を描き出している。
現代AIの限界：人間のデータという「天井」
近年のAI、特に大規模言語モデル（LLM: Large Language Models）の目覚ましい進歩は、インターネット上の膨大なテキストや書籍など、人間が生み出したデータを学習することで達成されてきた。詩作から物理問題の解決、医療診断の補助まで、LLMは驚くべき汎用性を示している。
しかし、Silver氏とSutton氏はこのアプローチには限界があると指摘する。第一に、高品質な人間由来のデータはいずれ枯渇する。第二に、人間の知識や経験の範囲を超える新しい発見、例えば新たな科学的ブレークスルーや未踏の数学的定理などは、既存のデータを学習するだけでは原理的に到達できない。人間を模倣するだけでは、有能にはなれるかもしれないが、真に創造的な、あるいは人間を超える知能には到達し得ないのだ。
この考えは、Sutton氏が2019年に発表し、AI研究に大きな影響を与えた「苦い教訓（The Bitter Lesson）」にも通底する。彼は、AIにおける真のブレークスルーは、人間が賢く知識を注入することではなく、膨大な計算能力を活用したスケーラブルな学習・探索アルゴリズムによってもたらされてきたと主張した。人間が設計に介入しすぎることは、むしろ長期的な進歩を妨げる可能性があるという洞察である。
現在のLLMで主流となっているRLHF（Reinforcement Learning from Human Feedback：人間のフィードバックによる強化学習）も、人間の評価に基づいてAIを微調整する手法だが、これもまた「人間の先入観」に依存しており、人間が評価できないような未知の優れた戦略をAI自らが見つけ出すことを困難にする、と両氏は示唆している。結果として、AIの性能向上には「見えない天井」が存在することになる。
「経験の時代」への移行：AIが自ら学ぶ未来
この限界を突破するため、Silver氏とSutton氏が提唱するのが「経験の時代（The Era of Experience）」である。これは、AI開発における、まさにパラダイムシフトの到来を意味する。静的なデータセットで一度訓練して終わりにするのではなく、AIエージェント（自律的に行動する主体）が、現実世界やシミュレーション環境と継続的に相互作用し、その「経験」から学習し続けることを目指すのだ。
このアプローチの核心は、AIが自身の行動とその結果（フィードバック）から直接学ぶ点にある。人間が書いたテキストとは異なり、「経験」は潜在的に無限であり、AIがより強力になるにつれて、より質の高いデータを自ら生成し続けることができる。
彼らが描く未来のAIエージェントは、以下のような特徴を持つ：
- 経験のストリームに生きる: 現在のAIのように短い質疑応答の断片（エピソード）で完結せず、人間や動物のように、長期間にわたる連続的な行動と観測の「ストリーム」の中で学習し続ける。過去の経験から学び、自己修正し、長期的な目標（健康改善、言語学習、科学的発見など）を追求する。
- 環境に根差した行動と観測: テキストの入出力だけでなく、APIの呼び出し、コードの実行、ユーザーインターフェースの操作、さらにはセンサーやロボットアームを介した物理世界との相互作用など、より豊かで自律的な方法で環境に関与する。
- 環境からのフィードバックに基づく報酬: 人間の主観的な評価だけでなく、環境から得られる客観的なシグナル（健康指標の改善、タスクの成功率、物理的な計測値など）を報酬として学習する。これにより、人間の評価者が理解できないような新しい戦略を発見できる可能性がある。人間のフィードバックも活用できるが、それは行動の結果（ケーキの味、運動後の体調など）に基づいた、より現実に根差したものとなる。
- 世界モデルによる計画と推論: 人間の思考プロセス（例えばChain-of-Thought）を模倣するのではなく、エージェント自身が環境についての内部モデル（世界モデル）を構築・利用する。これにより、自身の行動が将来どのような結果をもたらすかを予測し、より効果的な計画を立てることが可能になる。これは、単なる言語的な模倣を超えた、真の理解と推論への道を開くかもしれない。
「経験」がもたらす可能性と実例
この「経験」に基づくアプローチは、すでにその萌芽を見せている。DeepMindが開発した数学証明支援システム「AlphaProof」はその一例だ。人間の証明データを初期学習に利用した後、強化学習を用いて形式的な証明システムと対話することで、1億以上の新たな証明ステップを自律的に生成し、人間データのみで学習したシステムを凌駕する性能を示した。これは、AIが経験を通じて人間の知識の限界を超えうることを示唆している。
Silver氏とSutton氏は、このアプローチが、個人の睡眠パターンを分析してアドバイスを調整するヘルスケアアシスタント、生徒の長期的な進捗を追跡する教育エージェント、あるいは自律的に実験を行う科学研究AIなど、より広範な応用につながると考えている。
このパラダイムは、LLMの隆盛によって一時的に影が薄くなっていた強化学習（RL: Reinforcement Learning）のルーツへの回帰でもある。AlphaGoやAlphaZeroを成功に導いたRLの技術、特に長期的な学習、探索、価値評価といった概念が、再び中心的な役割を果たすことになるだろう。
広がる「経験」への期待と業界動向
AIが人間の知識だけでは限界に達するという認識は、静かに業界内で広がりつつある。OpenAIの共同創業者兼元チーフサイエンティストであるIlya Sutskever氏は、新たなスタートアップ「SSI」で超知能への代替経路を模索しており、すでに2024年には「ピークデータ」の問題に言及し、新しいアプローチの必要性を訴えていた。MetaのYann LeCun氏も言語モデルを超えた新しいアーキテクチャを推進しており、OpenAI CEOのSam Altman氏も2023年に、言語だけではAGI（汎用人工知能）以上には不十分だと述べている。
Silver氏とSutton氏の提案は、こうした課題認識に対する具体的な解決策の一つとして注目される。「世界モデル」の概念は、言語だけでなく、感覚や行動の経験を統合し、因果関係、空間、時間、行動といった概念をAIに組み込む有望な方向性として、多くの研究者が注目している。
自律性がもたらす機会と責任
AIエージェントの自律性が高まることは、大きな機会をもたらす一方で、新たなリスクと責任も伴う。長期的な計画と適応能力を持つエージェントは、従来人間固有とされてきたスキルを獲得する可能性があり、その制御や調整は従来のソフトウェアよりも格段に難しくなるかもしれない。解釈可能性の低下も懸念される。また、自律的なエージェントによる労働の自動化は、雇用への影響も引き起こす可能性がある。
しかし、Silver氏とSutton氏は、継続的な相互作用という性質そのものが、安全性向上に寄与する可能性も示唆している。実環境に組み込まれたエージェントは、意図しない結果を認識し、自律的に行動を修正することを学習できるかもしれない。報酬関数も、ユーザーからのフィードバック（懸念や不満の表明など）を通じて継続的に改善できる可能性がある。また、物理的な実験など、現実世界での行動には時間がかかるため、AIの自己改善ペースに自然なブレーキがかかることも期待される。
彼らは、必要な計算能力、シミュレーション環境、そして強化学習アルゴリズムといった技術的要素はすでに存在すると主張する。「経験的知能」はまだ若い分野だが、AIコミュニティがこの新しいパラダイムを受け入れる準備が整えば、飛躍的な進歩が期待できるという。
彼らのメッセージは明確だ。「経験」は後付けで考慮されるべきものではなく、AI開発の基盤となるべきである。未来のブレークスルーは、人間のアイデアを単に再現するシステムからではなく、自律的に思考し、世界との相互作用から学び続けるシステムから生まれるだろう、と彼らは結論付けている。
論文
- Googleapis: Welcome to the Era of Experience [PDF]
参考文献
