生成AIは新しい知識を学ぶと、古い知識を忘れてしまうことが知られている。この「破滅的忘却」と呼ばれる長年の課題に、Googleが終止符を打つかもしれない。2025年11月7日、Google Researchは、人間の脳が持つ学習メカニズムに着想を得た全く新しいAIの学習パラダイム「Nested Learning（ネステッド・ラーニング、入れ子学習）」を発表した。これは、AIの学習方法そのものを根本から覆し、真に自律的に学び続けるAIへの扉を開く可能性を秘めた成果と言えるだろう。
なぜAIは「忘れる」のか？ 巨大化の裏に潜む“破滅的忘却”という壁
近年の大規模言語モデル（LLM）の進化は、目を見張るものがある。人間のように自然な文章を生成し、複雑な問いに答え、時には創造的なアイデアさえ生み出す。しかし、その華々しい能力の裏で、AIは根源的な問題を抱え続けてきた。それが「破滅的忘却（Catastrophic Forgetting）」だ。
これは、一つのタスクを学習したモデルに、全く新しいタスクを学習させると、以前に学習したタスクの実行能力が著しく低下、あるいは完全に失われてしまう現象を指す。まるで、新しい歌を覚えたら、前に大好きだった歌の歌詞をすっかり忘れてしまうかのように。この問題があるため、現在のAIは一度学習を完了させると、その知識は「静的」なものとなり、継続的に新しい情報を取り込み、知識をアップデートし続けることが極めて困難だった。
Googleの研究者たちは、このAIの限界を、人間の記憶障害の一種である「前向性健忘」になぞらえている。これは、病気や事故が原因で、それ以降の新しい出来事を長期記憶として留めておけなくなる症状だ。過去の記憶は保たれているが、新しい思い出は作れない。現在のLLMもこれと似ており、膨大なデータによる事前学習（過去の記憶）は保持しているものの、その学習が完了した瞬間から、新たな知識を長期的に蓄える能力を失ってしまうのだ。
この「忘れっぽさ」という壁を乗り越えない限り、AIは常に人間の手による再学習を必要とし、環境の変化に自律的に適応し、永続的に成長する存在にはなれない。この巨大な壁を打ち破るため、Googleが着目したのが、我々自身の脳の仕組みだった。
Googleの答えは「脳」にあり。新パラダイム “Nested Learning” の着想
人間の脳は、生涯を通じて新しいことを学び、記憶を更新し続ける、まさに継続的学習の究極形だ。Googleの研究チームは、この驚異的な能力の源泉をAIに実装することを目指し、「Nested Learning」という新しいパラダイムを構築した。その着想の核には、脳の動作原理に関する二つの深い洞察がある。
異なるリズムで情報を処理する「脳波」のアナロジー
私たちの脳は、単一の巨大なプロセッサが動いているわけではない。脳波を測定すれば分かるように、目的や状態に応じて、デルタ波、シータ波、アルファ波といった様々な周波数の神経活動が、オーケストラのように同時に、しかし異なるリズムで発生している。ゆっくりとした波は広範な情報を統合し、速い波は瞬間的な処理を担う。
Nested Learningは、この「マルチリズム（多周波数）」の考え方をAIモデルに持ち込んだ物だ。従来のAIモデルは、全てのパラメータ（モデルの知識を保持する部分）が、ある種、均一なペースで更新されるのが常だった。しかしNested Learningでは、モデルを構成する各コンポーネントが、それぞれ固有の「更新頻度」を持つべきだと考える。ある部分は高頻度で素早く更新され、短期的な文脈を捉える。別の部分は低頻度でゆっくりと更新され、長期的で普遍的な知識を保持する。この多層的な時間スケールこそが、脳の柔軟な学習能力の鍵であり、AIが壊滅的忘却を乗り越えるためのヒントだと考えたのだ。
「アーキテクチャ」と「学習ルール」は同じものだった？ 視点の転換
Nested Learningがもたらした最も根源的な変化は、AIに対する視点の転換にあるかもしれない。これまでAI研究の世界では、モデルの「アーキテクチャ（構造）」と、そのモデルを訓練する「最適化アルゴリズム（学習ルール）」は、全く別のものとして扱われてきた。家の「設計図」と、大工の「建て方」のように、それぞれ独立して設計・改良されてきたのだ。
しかし、Nested Learningはこの常識に疑問を呈する。「アーキテクチャと学習ルールは、本質的に同じ概念の異なる側面に過ぎない」と主張するのだ。AIモデル全体を一つの巨大な塊として見るのではなく、無数の小さな「最適化問題」が入れ子状（ネスト）に組み合わさった集合体として捉え直す。
例えば、文章の意味を理解する「Attention機構」も一つの学習プロセスであり、モデル全体のパラメータを調整する「最適化アルゴリズム」もまた、勾配情報を学習する一つのプロセスである。これらは全て、それぞれの目的とコンテキスト（文脈）を持ち、異なるレベルで情報を処理している「学習モジュール」なのだ。
この視点に立つと、AIモデルの内部は、これまで見えなかった無数の情報の流れ（コンテキストフロー）と、それらを処理する階層的な学習プロセスで満たされていることが明らかになる。まるでAIの内部をレントゲンで撮影したら、これまで一つのエンジンだと思っていたものが、実は異なる速度で回転する無数の小さなエンジンが複雑に絡み合った集合体だった、と発見したようなものだ。この「内部構造の解明」こそが、Nested Learningの核心であり、より高性能なAIを設計するための新たな次元を切り拓くのである。
Nested Learningは何が新しいのか？ 3つの核心的貢献
この新しいパラダイムに基づき、Googleの研究者たちは具体的な技術的貢献も果たしている。理論だけに留まらず、実際にAIの性能を向上させる3つの重要な要素を開発した。
貢献1：学習を加速させる「Deep Optimizers」
最適化アルゴリズム（オプティマイザ）は、AIの学習効率を左右する「縁の下の力持ち」だ。Nested Learningの観点では、このオプティマイザ自体もまた、一つの学習可能な「連想記憶モジュール」として再定義できる。
従来のオプティマイザ（例えば、広く使われているAdamやSGD）は、いわば「決まった手順でしか工具を使えない職人」のようなものだった。しかし、Nested Learningの考え方を適用することで、オプティマイザをより深く、表現力豊かに設計できることが示された。これが「Deep Optimizers」だ。これは、過去の学習データがモデルに与えた影響（勾配）の関係性まで考慮してパラメータを更新する。まるで「状況に応じて工具の使い方や選び方を自ら学習し、改善していける熟練の職人」のように、より賢く、効率的に学習を進めることができるようになる。
貢献2：短期・長期の垣根を越える「Continuum Memory Systems (CMS)」
人間の記憶は、単純に「短期記憶」と「長期記憶」に二分できるものではない。昨日の夕食の記憶から、子供の頃の思い出、九九の暗唱まで、様々な時間スケールと重要度の記憶が連続的に存在している。
Nested Learningは、この考え方を「Continuum Memory Systems (CMS)」、すなわち「連続体メモリシステム」としてAIに実装する。これは、前述した「更新頻度」の概念をメモリ管理に応用したものだ。高頻度で更新されるメモリは短期的な情報を扱い、中程度の頻度で更新されるメモリは中期的な知識を、そして非常に低い頻度で更新されるメモリは、モデルの根幹をなす普遍的な知識（長期記憶）を保持する。
これにより、AIは情報を「短期か長期か」という二元論でなく、その重要性や時間的スケールに応じた適切な「場所」に、連続的なグラデーションをもって保存できるようになる。これは、壊滅的忘却を防ぎ、より柔軟で効果的な記憶システムを構築するための重要な一歩となる。
貢献3：自ら学び、自らを修正するAI「Hope」アーキテクチャ
これらの理論と技術の集大成として、研究チームは概念実証モデル「Hope」を開発した。Hopeは、Nested Learningの思想を体現した「自己修正型」の再帰的なアーキテクチャだ。
Hopeの最大の特徴は、自身の学習プロセス、つまり自身の記憶の最適化方法を、自己参照的に学習できる点にある。これは、AIが単に外部のデータから学ぶだけでなく、自身の「学び方」そのものを学習し、改善していくことを意味する。CMSによってもたらされた多層的なメモリ構造を活用し、どの情報をどのメモリ層に、どのくらいの頻度で書き込むべきかを動的に調整していくのだ。
従来の代表的なアーキテクチャであるTransformerが、単一の巨大なフィードフォワードネットワーク（長期記憶に相当）を持つのに対し、Hopeは異なる更新頻度を持つ複数のフィードフォワードネットワークで構成されている。この構造的な違いこそが、Hopeが継続的に学習し、複雑な文脈をより長く保持できる能力の源泉となっている。
“Hope”は実力を見せたのか？ 既存モデルとの性能比較
では、この新しい思想に基づいて設計されたHopeは、実際にどれほどの能力を示したのだろうか。研究チームは、言語モデリングや常識推論など、多様なベンチマークタスクでHopeの性能を評価し、既存の最先端モデルと比較した。
公開された論文によると、Hopeは7億6000万パラメータ、13億パラメータのモデルサイズにおいて、標準的なTransformerや、Mamba2、TTTといった近年注目を集める最新の再帰型モデルを上回る優れた性能を示した。
特にその真価が発揮されたのが、長文脈の読解能力を測る「Needle-in-a-Haystack（干し草の中の針）」タスクだ。これは、非常に長い文章の中に埋め込まれた特定の情報（針）を見つけ出す能力を試すもので、AIの長期記憶力と文脈保持能力が問われる。実験結果のグラフでは、タスクの難易度が上がるにつれて既存モデルとの性能差が開き、Hopeが一貫して高い精度を維持していることが示されている。これは、CMSと自己修正能力によって、Hopeが情報の洪水の中で重要な文脈を忘れずに保持し続けられることの強力な証と言えるだろう。
Nested Learningが拓くAIの未来
今回のGoogleの発表は、単なるAIモデルの性能向上コンテストに新たな勝者が現れた、という話に留まらず、AI開発の思想における一つの「パラダイムシフト」の始まりであると考えられる。
「効率」から「持続可能性」への転換
これまでのAI開発競争は、いかに巨大な計算資源とデータを使って、一度の学習で可能な限り賢いモデルを作り上げるか、という「効率」の追求が中心だった。しかし、Nested Learningが問いかけているのは、その先にある問題だ。一度賢くなったAIが、その後いかにして「学び続ける」ことができるのか。これは、AIの「持続可能性（Sustainability）」や「継続性（Continuity）」への明確な焦点の移行である。現実世界がそうであるように、変化し続ける環境に永続的に適応できる能力こそ、真の知性が備えるべき特性ではないだろうか。
ブラックボックスの解明に繋がる可能性
AI、特にディープラーニングモデルは、その内部動作が複雑すぎて人間には理解不能な「ブラックボックス」であると批判されることが多かった。Nested Learningは、モデルの内部を「階層的な最適化問題の集合体」として数学的に分解し、その情報の流れを可視化しようと試みる。これは、モデルの振る舞いをより透明性の高いもの（ホワイトボックス）にするアプローチであり、AIの「解釈可能性（Interpretability）」を向上させる上で重要な貢献を果たす可能性がある。なぜAIがそのような判断を下したのかを理解できれば、その信頼性や安全性を担保する上でも大きな前進となるだろう。
残された課題と展望
もちろん、Nested Learningはまだ始まったばかりの旅だ。Hopeはあくまで概念実証モデルであり、その計算コストや、あらゆる種類のタスクに対してこのパラダイムが普遍的に有効であるかは、今後のさらなる研究を待つ必要がある。
しかし、AIが誕生して以来の根源的な課題である「壊滅的忘却」に対し、脳という最も優れた実例から学び、正面からそのメカニズムに切り込んだ意義は計り知れない。Nested Learningが示す道は、AIが人間の手を離れ、自ら経験から学び、知識を更新し、永続的に成長していく──そんなSFの世界で描かれた「真の人工知能」への、現実的で、かつ重要な一歩となるのかもしれない。
論文
- OpenReview: Nested Learning: The Illusion of Deep Learning Architectures [PDF]
参考文献