一部が欠けたりノイズに埋もれたりした手掛かりから、保存されていた完全な全体像を一瞬で引き出す。人間の脳が日常的に行っているこの連想記憶の働きを半導体回路で再現しようとする試みは、半世紀近くにわたり物理的な限界と戦い続けてきた。脳を模した回路として期待を集めるメモリスタ(抵抗変化型メモリ、RRAM)を用いたクロスバーアレイは、オームの法則とキルヒホッフの法則を直接利用して行列ベクトル積を一括計算できる。しかし、現実のアナログ素子は製造ばらつきが極めて大きく、一定の割合で特定の抵抗値に固定されて動かなくなる欠陥を抱える。これまでの連想記憶ネットワークは、わずかな素子欠陥によって記憶容量が急落し、しかもネットワーク規模に対して記憶できるパターン数が線形にしか増えないという二重の制約に縛られていた。
香港大学電気電子工学科および先進半導体集積回路センター(CASIC)のCan Li教授とChengping He博士課程学生を中心とする研究チームは、Hewlett Packard Labs(HPE)のGiacomo Pedretti氏やJim Ignowski氏らと共同で、この停滞を打破する手法を開発した。物理チップ上の欠陥を排除するのではなく、欠陥の位置を学習アルゴリズム側に最初から組み込んで補正させる「ハードウェア適応型学習アルゴリズム」と多層ネットワーク構造を組み合わせる手法だ。研究成果は学術誌『Nature Communications』2026年号(17巻3096項、DOI: 10.1038/s41467-026-69958-0)に掲載された。一次論文が示す測定データは、ハードウェアの不完全性を前提にした工学的ブレイクスルーの具体的な射程を厳密に定義している。
- 従来手法(擬似逆行列法)
- 提案手法(ハードウェア適応型)
データを表で見る
| 従来手法(擬似逆行列法) (パターン数) | 提案手法(ハードウェア適応型) (パターン数) | |
|---|---|---|
| 欠陥率0% | 120 | 190 |
| 欠陥率30% | 70 | 155 |
| 欠陥率50% | 35 | 115 |
素子の半分が故障して動かない過酷な条件下であっても、新手法は従来の擬似逆行列基準手法に比べて3倍以上のパターン数を引き出し続ける。このグラフが示す粘り強さは、チップの製造歩留まりに悩まされてきたアナログニューロモルフィック技術に、実用的な耐故障設計の新しい道筋を提示している。
半世紀の定説が定めた連想記憶容量の「線形の天井」
連想記憶を計算機科学の土台に据えたのは、物理学者ジョン・ホップフィールドが1982年に発表したホップフィールド・ニューラルネットワーク(HNN)だった。全結合された神経素子の集団がエネルギー関数を最小化するように状態を更新し、あらかじめ埋め込まれた記憶の「谷」へと状態を落とし込む。入力が部分的に欠損していても、あるいはランダムなノイズを含んでいても、システムは元の記憶状態へと自律的に収束する。
しかし、古典的な単層ホップフィールド網には、数学的に厳密な限界が課されていた。ネットワークを構成するニューロン数を$N$としたとき、安定して格納できる独立なパターン数(記憶容量)は$N$に比例する線形の枠内に縛られていたのだ。最も原始的なヘブ則(相関学習)では、理論上の限界容量はおよそ$0.136N$にとどまる。記憶させたいパターンを増やせば増やすほど、エネルギー関数の谷同士が干渉し合い、擬似状態と呼ばれる予期せぬ偽の記憶へとトラップされてしまう。この混同を避けるためには、記憶容量の増加に合わせてニューロン数を増やし、回路規模を拡大するほかなかった。
さらに、古典的な単層ホップフィールド網は、各ニューロンの状態を$+1$または$-1$に二値化する符号関数()に依存していた。この構造は白黒のビットマップのような二値パターンの保存には適していたものの、自然界のデータの大半を占める連続値(グラデーションを持つ画像や音声信号など)を扱うことが原理的に困難だった。符号関数を微分可能な双曲線正接関数()に置き換えて連続値に対応させようとする試みもなされたが、単層のままでは重なり合う連続値パターン同士の相互干渉(クロストーク)を抑えきれず、実質的な記憶容量が1つや数個のパターンにまで崩壊するという致命的な問題を抱えていた。
容量の評価基準そのものも、厳格な工学的視点からは再定義を迫られていた。従来の理論研究では、完全にクリーンな記憶パターンが固定点として維持されるかという「ノイズなし固定点」の基準で容量が論じられることが多かった。だが、実際の連想記憶が価値を持つのは、手掛かり自体が汚れている場面である。今回の論文において研究チームは、容量の定義を極めて厳格に置いた。入力手掛かりに対して5%のビット反転確率という外乱ノイズを加えた上で、想起された出力が元の保存パターンとコサイン類似度で0.99以上を維持できる最大パターン数を「想起容量」と定義した。
この厳密な基準下では、ヘブ則の想起容量は$0.127N$にまで目減りする。ノイズのない理想環境で計算された古典的な値($0.132N$)よりも一段と厳しい基準だ。この制約のもとで、物理的な素子の欠陥に耐え、かつ線形の限界を突き破るアーキテクチャをどう構築するかが、ハードウェア連想記憶の前に立ちはだかる最大の問いだった。
素子の不完全性を排除せず、学習アルゴリズムに抱き込ませる設計思想
メモリスタを用いたアナログIn-Memory Computingは、交差する配線の交点(クロスポイント)に配置された微小素子のコンダクタンス(電気伝導度)を重みとして利用する。配線の入力側に電圧を印加すれば、各交点で電流が生じ、配線の終端ではキルヒホッフの電流則によってそれらが足し合わされる。デジタルプロセッサのようにメモリと演算器の間でデータを往復させる必要がなく、極めて高いエネルギー効率と低遅延を同時に達成できる物理プラットフォームだ。
だが、この理想的な物理演算の前に立ちはだかるのが、素子の故障である。薄膜酸化物内の酸素空孔の移動などを利用して抵抗値を切り替えるメモリスタは、製造プロセスの不均一性や繰り返しの電気ストレスによって、特定のコンダクタンス状態に永久的に固定されてしまう故障(stuck-at fault)を避けられない。ある素子は高抵抗状態のまま導通しなくなり、別の素子は低抵抗状態のまま大電流を流し続ける。全結合ネットワークにおいて数千から数万の重みを正確に設定しなければならない連想記憶において、わずか数パーセントのスタック故障が混入するだけで、エネルギー曲面の形状は歪み、正しい想起は不可能になる。
従来のアプローチは、半導体の製造技術を極限まで高めて欠陥を物理的に減らすか、不良素子を冗長な予備回路で置き換えるというハードウェア側での対処が中心だった。これに対し、Can Li教授らの研究チームが取った戦略は全く逆である。Li教授は、完全でない実機の特性を学習に織り込む協調設計のアプローチだと説明する。不完全性と正面から戦うのではなく、現実の不完全さを受け入れるようシステムに学習させる発想だ。
ハードウェア適応型学習アルゴリズムと名付けられたこの手法は、事前測定とソフトウェア学習を巧妙に結合させる。プロセスは、物理チップの厳密な特性評価スキャンから開始される。集積されたメモリスタクロスバーアレイの各素子に対して書き込みパルスを印加し、その応答特性を1素子ずつ読み出す。この際、プログラミング後であっても最低限のコンダクタンスしきい値(例えば5マイクロジーメンス)に達しない素子は、永久的な低コンダクタンス故障(スタックオフ故障)として位置が記録される。同様に、高抵抗化できない素子もスタックオン故障として検出される。
| 比較項目 | 従来の単層ホップフィールド網(擬似逆行列法) | 本研究のハードウェア適応型多層連想記憶 | 条件および適用限界 |
|---|---|---|---|
| 許容欠陥率 | 約35%で想起機能が崩壊 | 50%の固定欠陥下でも動作を維持 | 64×64アレイ上での物理測定およびシミュレーション |
| 50%欠陥時の容量(MNIST) | 35パターン | 115パターン(従来の約3.3倍) | ノイズ5%付加、コサイン類似度0.99以上の厳格基準 |
| スケーリング則(二値データ) | ニューロン数に対して線形(理論上限およそ) | ニューロン数に対して超線形(実測) | 相関を持つデータセット(MNIST等)での経験的観測 |
| スケーリング則(連続値データ) | クロストークにより容量崩壊(実質的に利用不可) | ニューロン数に対して超線形(実測) | 隠れ層の追加と活性化関数の併用下で実測 |
| 素子使用効率(MNIST格納時) | 基準値(相対比較の基準) | 最大95%少ない素子数で実現(絶対値は論文未開示) | 同一データ表現を維持するのに必要なメモリスタ総数の相対比較 |
| 状態更新方式と処理遅延 | 非同期逐次更新(多ステップが必要) | 同期一括更新(クロスバー並列積和を活用) | 64次元パターン想起においてエネルギー消費8.8倍効率化、遅延99.7%短縮(絶対値は論文未開示) |
欠陥マップが完成すると、最適化の舞台はホストコンピュータ側のソフトウェアへと移る。勾配降下法を用いた学習の最中、欠陥として特定された素子に対応する重みパラメータには固定のマスクが適用され、重み値が強制的にゼロ、あるいは物理素子の固定値に束縛される。アルゴリズムは、これらの故障した配線交点をバイパスし、周囲の正常な素子の重みを協調的に調整することで、目的のエネルギー地形を構築していく。欠陥素子が失わせた結合強度を、生き残っている健全な素子たちが肩代わりして補正する仕組みだ。
ここで注意すべき境界線がある。この一連の学習処理は、チップ自身が自律的に学習を行うオンチップのオンライン学習ではない。事前に欠陥位置を測定し、オフラインの計算モデル上で最適化を行い、得られた最終重みを改めて物理クロスバーアレイに書き込むという手続きを踏んでいる。この手法は、製造後のチップごとに個別化された「専用の学習」を課すアプローチであり、チップの個体差をそのまま設計パラメータとして活用するハードウェアとアルゴリズムの協調設計である。
故障率50%の極限環境で実証された優雅な縮退
完成したハードウェア適応型学習モデルの真価は、素子の破壊が進む過酷なシナリオで試された。評価には、標準的な手書き数字データセットであるMNISTが用いられた。前述の通り、想起の成否は「5%の反転ノイズを含む入力から、コサイン類似度0.99以上で復元できるか」という厳格な基準で判定されている。
先行研究における最高水準のベースラインとして広く用いられてきたのは、ヘブ則を改良した擬似逆行列法(プロジェクションルール)である。擬似逆行列法は相互相関を取り除くことで単層ネットワークの容量を大幅に引き上げられるが、ハードウェアの欠陥に対しては極めて脆い。実験において、擬似逆行列法はスタック故障の割合が35%を超えた段階で想起精度が急激に劣化し始め、50%に達すると格納可能なパターン数はわずか35個にまで落ち込んだ。
これに対し、物理素子の欠陥分布をあらかじめ織り込んで最適化されたハードウェア適応型アプローチは、50%という極限の故障率に達しても115パターンの想起能力を保持した。従来の基準手法と比較して、実質3倍以上のパターン数を引き出し続けた計算になる。
故障率の上昇に伴う性能低下のプロファイルにも固有の特徴が現れた。従来の回路では、欠陥がある閾値を超えると想起出力全体がノイズ化して完全に崩壊する破局的故障を起こしやすい。しかし今回のシステムでは、欠陥率の上昇に伴って格納可能なパターン数の上限が少しずつ減っていくものの、残された許容量の範囲内であれば想起されるパターンのコサイン類似度は0.99という極めて高い水準を維持し続けた。
研究チームはこの挙動を「優雅な縮退(graceful degradation)」と呼んでいる。ハードウェアに物理的な損傷が蓄積していっても、システム全体が突然死することはない。扱える記憶の絶対数が緩やかに減少するだけで、引き出される記憶の純度は最後まで担保される。
単層構成におけるクリーンな状態でのスケーリング特性についても、定量的な裏付けが得られている。研究チームの測定によれば、単層ベースラインにおける想起容量はニューロン数$N$に対しておよそに比例し、ほぼ厳密な線形スケーリングの枠組みに従っていた。従来手法の2倍近い絶対容量を達成しつつも、単層である限りは線形の天井を越えられないという理論的境界が、実験データからも改めて裏付けられた。
隠れ層が引き出した超線形容量と連続値パターンの両立
線形の天井を物理的に打ち破る鍵となったのは、ネットワークの「多層化」である。研究チームは単層ホップフィールド網の構造を改め、入力層と出力層の間に隠れ層を挿入した多層アーキテクチャを導入した。
隠れ層の存在は、入力パターンの内部表現を高次元空間へと射影し、重なり合うパターン同士の類似性を分離する役割を果たす。これにより、単層構成では不可能だった二つの突破口が同時に開かれた。第一に、微分可能な関数を用いながらもクロストークに埋もれることなく、グラデーションを持つ「連続値パターン」の安定した想起が可能になった。第二に、ネットワークサイズ(ニューロン数$N$)の拡大に対して、格納可能なパターン数が線形を上回るペースで増大する「超線形スケーリング」の発現である。
MNISTのような相関関係を含む実データセットを対象とした実験において、研究チームは記憶容量がニューロン数に対して大きな勢いで伸びていく現象を捉えた。二値パターンを記憶させた場合、想起容量はニューロン数$N$に対しておよそに比例して増大した。さらに連続値パターンの想起においては、スケーリング指数はに達した。
この超線形的なスケーリングは、回路を構成するために必要な物理素子の数を削減することに直結する。論文の報告によれば、MNISTデータセットの全パターンを保存・想起するために必要なメモリスタの総数は、従来の単層手法と比較して最大95%少ない素子数で実現された(具体的な素子の絶対数は公表資料に示されていない)。この相対比率に基づけば、同一データを維持するための素子数が最大20分の1程度に圧縮される計算となり、チップの専有面積を縮小できる可能性を示唆している。
エネルギー消費と処理速度においても、多層設計の恩恵が報告されている。論文の記述によれば、単層実装との相対比較において、多層構造は2.53倍から3.28倍高いエネルギー効率を記録し、想起にかかる動作速度も1倍から2倍向上したとされる(ただし、これらを裏付ける比較元および比較先の絶対値や測定条件の詳細は公表資料に示されていない)。
ただし、この「超線形」という言葉の解釈には厳密な科学的留保が必要である。この指数関数的な容量拡大は、数学的にあらゆる無相関データに対して普遍的に成立する普遍法則として証明されたものではない。MNISTのように、パターン間に特有の幾何学的・統計的な相関が存在するデータセットにおいて経験的に観測された現象である。実際、研究チーム自身も論文の中で、ニューロン数をさらに大規模に増やしていった場合、パターンの相関構造の変化によって容量の伸びがわずかに鈍化する傾向を指摘している。過度な一般化を避け、どのような統計的性質を持つデータでこの利得が得られるのかを慎重に見極める視点が欠かせない。
64×64 RRAMクロスバーチップが示した同期更新の物理的威力
本研究の信頼性を支えているのは、これらの一連の主張が計算機シミュレーションの産物だけではなく、シリコン基板上に実装された完全集積チップの上で実際に測定・検証された点にある。検証に用いられたのは、香港大学とHewlett Packard Labsが長年共同開発を続けてきたメモリスタ技術の系譜を引く、64×64アレイの抵抗変化型メモリ(RRAM)クロスバー回路である。
アナログIn-Memory Computingにおける大きな課題の一つに、ニューロンの状態更新をどのような時間的順序で行うかという問題がある。従来のホップフィールド網の実装では、状態が予期せぬ振動を起こして不安定化するのを防ぐため、ニューロンを1つずつ順番に更新していく「非同期逐次更新」が安全策として採用されることが多かった。しかし、非同期更新はクロスバー回路が本来持っている「全交点での一括物理演算」という最大の利点を殺してしまう。素子数が増えるほど更新ステップ数は激増し、遅延と消費電力の悪化を招いていた。
研究チームはこの制約を克服するため、クロスバーアレイの持つ物理的な並列性を余すところなく活用する「同期一括更新」方式をハードウェア上に実装した。全ニューロンの状態を同時に検出し、全列に対して一斉に電圧を印加して次の状態を一括で確定させるアプローチだ。
この同期更新の実装により、処理にかかるレイテンシは大幅に短縮された。論文の報告によれば、旧来の非同期逐次更新との相対比較において、システム全体の処理時間は99.4%削減され、エネルギー効率は2.68倍から2.76倍に改善されたとされる(ただし、両方式の具体的な処理時間や消費エネルギーの絶対値は公表資料に明記されていない)。
ハードウェアの物理規模に合致する64次元のパターンを用いた想起タスクにおいては、さらに鮮明な数値が報告されている。論文要約が示すところによれば、非同期更新との比較において、想起にかかるエネルギー消費は8.8分の1(8.8倍の効率化)へと削減され、処理遅延は99.7%短縮された(こちらもエネルギー量やレイテンシの絶対値そのものは公表資料に示されていない)。行列の積和演算を物理法則そのものに委ねるクロスバーのポテンシャルが、同期制御と安定した多層最適化によって実証された形だ。
エッジAIの未来と残された工学的ハードル
今回の成果が示す応用上の地平は、極めて低い電力予算で自律的に稼働しなければならないエッジAIデバイスの領域にある。常時電源を確保できないウェアラブル端末や、極限環境にばらまかれる環境センサ、ロボットの末端受容器などでは、クラウドとの通信を遮断した状態での瞬時かつ低消費電力なパターン認識が求められる。不完全なセンサ信号から瞬時に記憶を復元する連想記憶回路は、こうした用途において極めて有用な構成要素となり得る。
しかし、この成果を「汎用的な脳型コンピュータの完成」と同一視することは、科学的に厳に戒められなければならない。「脳の連想記憶を模倣した」という表現は、部分的な入力から全体を復元するという特定の想起アルゴリズムの振る舞いを比喩的に指しているに過ぎず、チップが生物の脳の柔軟性や汎用的な情報処理能力を獲得したわけではない。
また、実用化と普及に向けては、未解決の工学的ハードルが明確に横たわっている。
第一に、学習プロセスのオフライン依存性である。本手法は、物理チップごとに異なる欠陥の位置と特性を外部装置でスキャンし、コンピュータ上で最適化を行ってから素子へ書き戻すという手順を踏んでいる。このアプローチは個体ごとの欠陥を吸収する上では極めて効果的だが、量産ラインにおいてチップ1個ごとに特性測定と個別学習を施すプロセスのスケーラビリティには疑問が残る。実専有面積と製造コストのトレードオフをどう解決するか、あるいはチップ自身がオンチップで自己の欠陥を検知して適応する自律的回路へと発展させられるかが、次の試金石となる。
第二に、実証されたハードウェア規模の制約である。今回物理的に実証されたのは64×64アレイの単一モジュールであり、実用的な画像処理や大規模データベースの検索を行うには規模が小さい。複数のクロスバーアレイをタイリングして大規模化した場合に、配線抵抗(寄生抵抗)による電圧降下(IRドロップ)や熱雑音が多層ネットワークの収束性にどのような影響を与えるかは、依然として未検証の領域である。
第三に、独立した第三者機関による追試と、より複雑な実データセットにおけるスケーリングの検証である。超線形スケーリングが観測されたMNIST以外の、より高次元で特徴量が分散した実世界ノイズ環境において、提案アーキテクチャがどの程度の優位性を維持できるのか。物理素子の経時劣化や温度変化によるドリフト現象に対して、学習済みの重みがどこまで耐えうるのかという長期信頼性の問題も残されている。
欠陥を抱えた素子を欠陥のまま使いこなし、多層化によって物理回路の限界容量を押し広げる。その工学的な手筋が実チップ上で証明された意義は大きい。だが、不完全なハードウェアとアルゴリズムの調和が達成されるまでには、製造プロセスと回路設計の双方において、なお地道な検証の積み重ねが必要である。
