Intel、11億5000万個のニューロンを搭載した世界最大のニューロモーフィックシステム「Hala Point」を発表

2024年4月18日

当記事のリンクにはアフィリエイト広告が含まれています。

Intelと米国のサンディア国立研究所（Sandia National Laboratories）は、世界最大のニューロモーフィック・コンピューティングシステム「Hala Point」を発表した。

電子レンジサイズの程の6ラックユニットには、11億5000万個の人工ニューロン（神経細胞）と1280億個のシナプスを140,544個のニューロモーフィック処理コアに分散してサポートしが搭載されており、最大2600ワットの電力を消費して駆動する。

これは、2021年末に初めて発表されたIntelのLoihi 2ニューロモーフィック・チップを大規模に展開した物となる。Loihi 2は合計1,048,576個のニューロンで構成され、8,192個のニューロンがニューロモーフィック・コアで結合される。Loihi 2の発表時に述べたように、これらのチップは、Intel 4プロセスで製造されているため、1チップあたりわずか31mm²、各トランジスタは23億個と小さな物だ。このLoihi 2チップが1,152個搭載され、11億5000万個の人工ニューロン（神経細胞）と1280億個のシナプスを構築する。

システム全体のサイズもコンパクトな物で、6ラックユニット（プレスリリースでは電子レンジサイズと例えられている）で、2600ワットの電力で駆動する。また、補助計算用に2,304個のx86プロセッサが組み込まれている。

ただし、このx86コアは限定的な機能しか持たない。「非常にシンプルで小さなx86コアです。私たちの最新のコアやAtomプロセッサーのようなものではありません」と、intelのニューロモーフィック・コンピューティング担当ディレクター、Mike Davies氏はThe Registerに語った。

Artificial neurons 1 scaled 1 — (Credit: Sandia National Laboratories)

ニューロモーフィック・コア（ニューロン）の計算能力は、コア間の通信量にも依存する。各コアには128kBのSRAMがあり、データを書き込んだり読み出したりすることができる。合計すると、Hala Pointのメモリ帯域幅は16PB/秒、コア間は11PB/秒、チップ同士は合計5.5PB/秒でデータを交換できる。

Hala Pointは、現在サンディア国立研究所に設置されている同じくIntel製の旧型ニューロモーフィック・コンピューティングシステム「Pohoiki Springs」を置き換えるものだ。Hala Pointは前モデルに比べて、ニューロン数は10倍に、性能は12倍以上に向上しているという。ちなみに、生物に例えると、Hala Pointはフクロウ並みの脳の複雑さをシミュレートしているという。

LOIHI Chart final — (Credit: Sandia National Laboratories)

サンディア国立研究所は、このシステムを使って大規模なニューロモーフィック・コンピューティングを研究し、Pohoiki Springsをはるかに超えるスケールで研究を進めると述べている。同研究所では、より大規模なシステムによってようやく、ニューロモーフィック・コンピューティングの特性を適切に活用し、デバイス物理学、コンピューター・アーキテクチャ、コンピューター科学、情報学などの分野における実際の問題を解決できるようになると考えている。

この研究室が新たに注目したのは、AI推論へのニューロモーフィック・コンピューティングの応用である。現在のAIシステムの背後にあるニューラルネットワーク自体が人間の脳をエミュレートしようとしているため、ある意味、アルゴリズムが重要な点で異なるとしても、脳を模倣するニューロモーフィック・チップとの相乗効果は明らかだ。それでも、エネルギー効率はニューロモーフィック・コンピューティングの主な利点のひとつであるため、Intelはこの問題をさらに研究し、2つ目のHala Pointサイズのシステムを独自に構築することを決定した。

Intelによると、Hala Pointの研究において、このシステムは8ビット精度で15TOPS-per-Wattという高い効率を達成した。この効率に加え、ニューロモーフィック・システムは、GPUやGPUライク・プロセッサの高密度ALUアレイを効率的に利用するために通常必要とされる、事前の大規模なデータ処理やバッチ処理を必要としない。

しかし、おそらく最も興味深いユースケースは、ニューロモーフィック・コンピューティングを使って、ニューラルネットワークをその場で追加データで拡張できる可能性である。この背景には、現在のLLMが必要とするような、膨大なコンピューティング・リソースが必要で、非常にコストがかかる再トレーニングを避けるという考えがある。要するに、これは脳がどのように動作するかを参考にしたもので、継続的な学習とデータセットの拡張を可能にする。

しかし、ニューロモーフィック・アクセラレータはGPUを完全に置き換える段階にはまだまだ至っていない。「これは決して汎用的なAIアクセラレーターではありません」とDavies氏はThe Registerに語っている。「現時点では、LLMをHala Pointにマッピングしていません。その方法がわからないのです。率直に言って、ニューロモーフィック研究分野には、ニューロモーフィック・バージョンのTransformerはありません」とDavies氏は述べ、それを実現する方法について興味深い研究があることを指摘した。

とはいえ、Davies氏のチームは、いくつかの注意点はあるものの、従来のディープ・ニューラル・ネットワークである多層パーセプトロンをHala Point上で動作させることに成功している。

少なくとも現時点では、これは学術的な研究の対象である。最終的には、Intelとサンディア国立研究所は、Hala Pointのようなシステムが商用システムの開発につながることを望んでいる。しかし、そのためにはまず、サンディア国立研究所やその他の研究者たちが、現在のシステムを使ってアルゴリズムをより洗練させ、より大規模なスケールでの有用性を証明するために、より大きなワークロードをこのスタイルのコンピューティングにマッピングする方法をよりよく解明する必要がある。

Sources