xAI、次世代「Grok」開発のための世界最強のAIクラスターが稼働開始と発表

Elon Musk氏率いるxAIが、世界最大規模のAIトレーニングクラスタの稼働を開始したようだ。Musk氏はXへのポストによって、10万台のNVIDIA H100 GPUを使用し、次世代AIモデル「Grok 3」のトレーニングを開始した事を報告している。

「Memphis Supercluster」：xAIの次世代AI開発の要

Elon Musk氏はX上で、「Memphis Supercluster」と呼ばれる新しいAIトレーニング施設が2024年7月22日の現地時間午前4時20分頃に稼働を開始したと発表した。この施設は、テネシー州メンフィスに位置し、最大10万台のNVIDIA H100 GPUを単一のRDMA（Remote Direct Memory Access）ファブリックで接続するという、前例のない規模を誇る。

この巨大なコンピューティングパワーは、xAIの次世代AI言語モデル「Grok 3」の開発に投入される。Muskは2024年12月までに「あらゆる指標で世界最強のAI」を訓練することを目標としていると述べている。

ただし、専門家の間では、現時点でクラスタの全容が稼働しているかどうかについて疑問の声も上がっている。SemiAnalysisの推定によると、現在稼働しているGPUは約32,000台で、残りは2024年第4四半期までに順次オンラインになる見込みだという。また、電力供給についても、現時点では8MWしか利用可能でないとされており、Tennessee Valley Authorityなどの電力会社との50MW追加の契約は来月以降になると報じられている。

このプロジェクトの背景には、xAIとOracleとの100億ドル規模のサーバー契約の破棄があったとされる。xAIは独自のデータセンター構築を選択し、より高度な制御と柔軟性を確保する道を選んだ。

Musk氏は、2024年8月に「Grok 2」、12月に「Grok 3」をリリースする計画を明らかにしている。特に「Grok 2」については、「GPT-4と同等かそれに近い」レベルを目指していると述べている。

Memphis Superclusterの稼働は、AIの開発競争が新たな段階に入ったことを示している。Google、Microsoft、Apple、Metaなどの技術大手が巨額の投資を行う中、xAIの動向は今後のAI業界の勢力図に大きな影響を与える可能性がありそうだ。

Sources

• Elon Musk