テクノロジー
Google、AIの「忘れっぽさ」を克服へ。脳に学ぶ新理論「Nested Learning」が成長を続けるAIの開発を可能にする？
生成AIは新しい知識を学ぶと、古い知識を忘れてしまうことが知られている。この「破滅的忘却」と呼ばれる長年の課題に、Googleが終止符を打つかもしれない。2025年11月7日、Google Researchは、人間の脳が […]
Term
Deep Optimizers
Overview
最終更新: 2026年7月9日Deep Optimizersは、Nested Learningのパラダイムに基づき開発された高度な最適化アルゴリズムである。従来のAdamやSGDといった固定的な手順のオプティマイザとは異なり、オプティマイザ自体を一つの学習可能な「連想記憶モジュール」として定義する。過去の学習データがモデルのパラメータに与えた影響（勾配）の関係性を考慮しながら更新を行うため、状況に応じて学習方法を自ら改善していく「熟練の職人」のような振る舞いが可能となる。これにより、従来の最適化手法よりも表現力が豊かで、効率的な学習プロセスを実現できる。
Mentioned Articles
1 件External Mentions
10 件- arXiv Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs
- arXiv Charge-transfer gap size and oxygen hole content as two mechanisms controlling $T_c$ in the Emery model
- arXiv Correlation of maximum superconducting critical temperature with copper-oxygen energy distance and oxygen hole content in the Emery model
- arXiv Nearly tight bounds for induced subdivisions
- arXiv Feature Learning for the High Dimensional Stationary Schödinger Equation with Deep Ritz Method
- arXiv Ultra-Low-Cost Hybrid Beamforming: A New Static-Connection Architecture with Sparse Phase-Shifter Sharing
- arXiv Assessing Ultra-Cool Dwarf Contamination in Photometrically Selected High-Redshift Galaxy Samples
- arXiv Population-Scale Segmentation of Penile Tissue in DIXON MRI using Deep Learning for Quantitative Phenotyping in Male Reproductive Health
- arXiv DL-VINS-Factory: A Modular Framework for Learned Visual Front-Ends in Visual-Inertial SLAM
- arXiv DRL-CLBA: A Clean Label Backdoor Attack for Speech Classification via DDPG Reinforcement Learning