東京を拠点とするAIスタートアップ、Sakana AIが、AIの常識を塗り替える可能性を秘めた革新的なAIモデル「Continuous Thought Machine（CTM）」を発表した。人間の脳が時間とともに情報を処理し思考を深めていくプロセスに着想を得たこのCTMは、従来のAIとは一線を画す「時間軸での思考」を実現するという。一体何が画期的であり、我々の未来にどのような影響を与えるのであろうか。
AIの進化とSakana AIの挑戦 – なぜ「時間」が重要なのか
近年、大規模言語モデル（LLM）に代表されるAI技術は目覚ましい進歩を遂げてきた。しかし、これらのAIの多くは、入力された情報を静的なスナップショットとして処理しており、時間的な連続性の中で情報を統合し、複雑な推論を段階的に行う能力には限界があった。また、その判断プロセスがブラックボックス化しやすいという課題も抱えていたのである。
こうした現状に対し、「自然界の知性に学ぶ」という理念を掲げるSakana AIは、AI研究における新たなフロンティアを切り拓こうとしている。共同創業者の一人であるLion Jones氏は、現代の多くのAIモデルの基盤となっている「Transformer」アーキテクチャの論文共著者の一人としても知られており、その彼らが次に着目したのが、生物の脳における「時間」の役割であった。CTMは、まさにその挑戦が生んだ最初の大きな成果と言えるだろう。
「思考するAI」CTMとは？ – 脳から着想を得た新機軸
CTMの最大の特徴は、ニューロンレベルでの時間処理と、ニューロン間の同期（synchronization）を核とした情報表現にある。これは、従来のAIが入力データを一度に処理して結論を出すのとは対照的である。
Sakana AIによると、CTMは以下のような革新的な要素を持つという。
- ニューロンレベルモデル（NLM）: 各ニューロンが過去の活性化履歴を保持し、その履歴に基づいて時間とともに振る舞いを変化させる。これは、静的な活性化関数を用いる従来のニューロンモデルとは大きく異なる点である。
- 内部ティック（Internal Ticks）: CTMは外部からの入力とは独立した内部的な時間の概念（内部ティック）を持つ。これにより、問題を解決するために複数の内部ステップを踏み、段階的に「思考」を深めることが可能となる。
- 神経同期（Neural Synchronization）: ニューロン間の活動の同期パターンが、モデルの主要な内部表現となる。この時間ベースの同期が、アテンション（注意）機構を駆動し、最終的な予測を生成するための鍵となるのである。
平たく言えば、CTMは「考えながら答えを出すAI」と表現できるかもしれない。人間の脳が、ある問題に対して様々な角度から情報を吟味し、時間をかけて結論に至るように、CTMもまた内部的な時間軸の中で情報を処理し、同期という形で知識を統合していくのだ。
CTMはどのように「思考」するのか？ – そのメカニズムを解剖
CTMの「思考」プロセスは、いくつかの主要なコンポーネントの連携によって実現される。Sakana AIが公開したブログや論文（Arxiv:2505.05522）によると、その概略は以下の通りだ。
- シナプスモデル（Synapse Model）: 現在のニューロンの状態と外部からの入力を処理し、ニューロンの「事前活性化」状態を生成する。
- ニューロンレベルモデル（NLM）: 各ニューロンは、この事前活性化の履歴を保持する。そして、この履歴情報を用いて、次の「事後活性化」状態、つまりニューロンの新たな状態を計算する。
- 同期の計算: 時間とともに蓄積されるニューロンの事後活性化状態から、ニューロン間の同期パターンが分析される。この同期こそが、CTMの「思考」を方向づける羅針盤となる。
- アテンションと予測: 計算された同期パターンは、入力情報のどの部分に注目すべきか（アテンション）を決定し、また最終的な出力（予測）を生成するために利用される。
- ループ: 更新されたニューロンの状態と選択された入力情報は、再びシナプスモデルへとフィードバックされ、次の内部ティック、つまり次の「思考ステップ」へと繋がっていく。
この一連のループを繰り返すことで、CTMは複雑な問題に対しても、段階的に理解を深め、より精度の高い結論を導き出すことを目指している。Sakana AIの資料にあるCTMのアーキテクチャ図は、このダイナミックなプロセスを視覚的に理解する助けとなるであろう。
CTMは何を示したのか？ – 実験結果とその意義
Sakana AIは、CTMの能力を検証するために、画像分類、迷路解決、数値系列のソートなど、多岐にわたるタスクで実験を行った。その結果は、CTMのユニークな特性と潜在能力を浮き彫りにしている。
画像分類 (ImageNet 1K)
ImageNet 1Kという標準的な画像分類データセットを用いた実験では、CTMは72.47%のTop-1精度、89.89%のTop-5精度を達成した。これは最先端の精度ではないが、Sakana AIは「性能が主目的ではなかった」と述べている。
注目すべきは、CTMがタスクの難易度に応じて処理の深さを動的に変化させる点だ。簡単な画像であれば早期に判断を終了し、難しい画像に対してはより多くの内部ステップ（思考時間）を費やすという、効率的かつ適応的な振る舞いが、特別な損失関数や停止基準なしに自然に出現したという。
迷路解決
CTMの「思考プロセス」が特に顕著に現れたのが、2D迷路の解決タスクであった。モデルは、迷路の構造を理解し、ゴールまでの経路をステップバイステップで計画した。Sakana AIが公開したインタラクティブデモでは、39×39マスの迷路を最大150ステップで解く様子が示されており、まるでAIが注意を迷路の経路に沿って動かしながら「考えて」解いているように見える。
さらに驚くべきことに、この経路探索能力は訓練データに含まれていなかった、より大きく複雑な迷路に対しても部分的に機能したのである。これは、CTMが単にパターンを暗記するのではなく、問題解決のための一般的な方策を学習し、それを未知の状況に応用する「創発的な振る舞い」を示したことを意味する。この実験では、モデルが内部的な世界地図を構築し、それに基づいて行動計画を立てている可能性が示唆される。
他のモデルとの比較
Long Short-Term Memoryネットワーク（LSTM）や単純なフィードフォワードネットワークといった既存モデルとの比較実験も行われた。数値系列のソートやパリティ計算といったタスクにおいて、CTMはより速く、より安定して学習する傾向が見られた。また、CTMのニューロン活動は、LSTMのニューロンが比較的単純で急速に安定するのに対し、より多様でダイナミックな活動パターンを示したと報告されている。これは、CTMが時間軸の中でより豊かな情報表現を獲得している可能性を示唆する。
CIFAR-10データセット（10カテゴリの画像60,000枚）を用いた画像分類では、CTMは他のモデルをわずかに上回る性能を示し、その予測は人間が画像を分類する傾向とより近いことも判明した。
これらの実験結果は、CTMが持つ時間ベースの思考プロセスとニューロン同期のメカニズムが、従来のAIとは異なる質的な能力、特に解釈可能性の高い推論や未知の状況への適応能力に繋がりうることを示唆していると言えるだろう。
生物学的着想と技術的課題 – CTMの現在地と未来
CTMは脳の働きにヒントを得ているが、Sakana AIは、これが生物学的な脳を完全に再現するものではなく、あくまで機能的なインスピレーションに基づいていることを強調する。例えば、実際のニューロンは自身の全活性化履歴に直接アクセスできるわけではない。
一方で、この革新的なアーキテクチャには技術的なトレードオフも存在する。CTMは再帰的に動作するため、訓練時の並列化が難しく、計算時間が長くなる傾向がある。また、従来のモデルと比較してより多くのパラメータを必要とするため、計算資源の要求も高くなる。
しかし、Sakana AIはCTMの可能性に大きな期待を寄せており、そのコードとモデルのチェックポイントをオープンソースで公開している。これにより、世界中の研究者がCTMを基盤として、生物学に着想を得たAIシステムのさらなる研究を進めることが期待される。
CTMが拓くAIの新たな地平
Sakana AIによるContinuous Thought Machine（CTM）の発表は、AI研究の分野に新たな視点を与える物と言えるだろう。CTMが持つコンセプトの新規性と、それが示唆するAIの未来像には、大いに興奮を覚える。
CTMの核心は、AIの「思考」に「時間」という極めて人間的な要素を本格的に導入した点にあると言えるだろう。従来のAIが、どれほど高度なパターン認識能力を持とうとも、どこか機械的な印象を拭えなかったのは、この時間軸の中での連続的でダイナミックな情報処理が欠けていたからかもしれない。CTMは、ニューロンの活動履歴と同期というメカニズムを通じて、あたかも思考が時間とともに深まっていくようなプロセスをモデル化しようとしている。これは、AIがより柔軟で、文脈を理解し、さらには創造的な活動を行うための重要な一歩となる可能性がある。
特に注目すべきは、解釈可能性の向上への期待である。CTMが迷路を解く際に見せたアテンションの動きは、AIが「何を考え、どのように結論に至ったのか」を人間が理解する上で大きな手がかりとなる。これは、AIの判断プロセスがブラックボックス化しやすいという長年の課題に対する一つの有望なアプローチと言えるだろう。
もちろん、CTMはまだ発展途上の技術であり、計算コストや汎用性など、克服すべき課題も少なくない。しかし、TransformerというAIの歴史における大きな転換点に関わった研究者が、今度は「時間」という新たな次元でAIの進化を促そうとしている事実は、非常に示唆に富んでいる。
日本発のスタートアップであるSakana AIが、このような根源的かつ野心的な研究テーマに取り組み、世界に向けてその成果を発信していることは、日本のAI研究開発力の高さを示すものとも言えるだろう。CTMの概念が、将来の言語モデルやロボティクス、あるいは科学的発見を支援するAIなど、様々な分野に応用されていくことを期待したい。AIが真に「考える」日は、そう遠くないのかもしれない。
論文
- arXiv: Continuous Thought Machines
参考文献
