Tesla、XのCEOであるElon Musk氏が率いるAI企業xAIが、10万台のNVIDIA GPUを搭載した巨大AIスーパーコンピューター「Colossus」を稼働させた。この桁違いのパワーを誇るAIスーパーコンピューターの出現は、AI開発競争が激化する中で業界の地図を大きく塗り替える可能性をもたらしそうだ。
10万台のGPUが織りなす未来のAIトレーニングシステム
Colossusは、xAIが約4ヶ月という短期間で構築した世界最大級のAIトレーニングシステムだ。Musk氏は自身のSNSプラットフォームXで、「Colossusは世界最強のAIトレーニングシステムです」と発表し、その性能を誇示している。
システムの中核を成すのは、10万台のNVIDIA H100 GPUだ。H100は2022年にデビューし、1年以上にわたってNVIDIAの最強AI処理プロセッサとしての地位を保持してきた。これらのGPUは、前世代と比較して言語モデルの処理速度を最大30倍に向上させる能力を持つ。H100の特徴的な機能の一つが「Transformer Engine」モジュールで、GPT-4やMeta Platforms Inc.のLlama 3.1 405Bなど、最先端の大規模言語モデル（LLM）の基盤となるTransformerニューラルネットワークアーキテクチャに最適化された回路群となっている。
Colossusの開発には122日間を要したというが、これは業界の予想を大きく上回る驚異的なスピードだ。Musk氏によれば、当初の予測では12〜18ヶ月かかるとされていた。
さらに注目すべきは、xAIの今後の拡張計画だ。Musk氏は「数ヶ月以内にColossusの規模を20万台のGPUに倍増させる」と述べている。この拡張には、5万台のNVIDIA H200 GPUが含まれる予定だ。H200は昨年11月に発表されたH100の上位モデルで、より高速なデータ転送と大容量メモリを特徴としている。
具体的には、H200はH100のHBM3メモリをHBM3eに置き換え、データ転送速度を大幅に向上させている。さらに、オンボードメモリ容量を141ギガバイトとほぼ倍増させ、AIモデルのデータをより多く論理回路の近くに保持できるようになった。これらの改良により、H200はAIワークロードにおいて、H100を大きく上回るパフォーマンスを発揮することが期待されている。
AIトレーニングの新時代と環境への懸念
Colossusの稼働は、AIトレーニング能力の飛躍的な向上を意味する。xAIの主力LLMであるGrok-2は15,000台のGPUで訓練されたが、Colossusの10万台のGPUはこれを遥かに上回る能力を持つ。xAIは年内にGrok-2の後継モデルをリリースする計画だと報じられており、Colossusの巨大な計算力がこの開発を加速させると見られている。
業界内での位置づけを見ると、Colossusは米国エネルギー省のAuroraシステムを上回る可能性がある。Auroraは世界最速のAIスーパーコンピューターとして知られ、5月のベンチマークテストでは、ハードウェアの87%を稼働させて10.6エクサフロップスの最高速度を記録した。Colossusがこれを上回れば、世界最速のAIスーパーコンピューターの座を獲得することになる。
競合他社との比較も興味深い。OpenAIの最強モデルは80,000台のGPUを使用しているとされ、Colossusはこれを大きく上回る。また、MetaやMicrosoftなども数十万台のNVIDIA GPUを購入してAIトレーニングプロジェクトを進めているが、Colossusの規模と構築速度は業界に新たな基準を示したと言える。
NVIDIAはColossusの稼働を祝福し、「最強の性能と例外的なエネルギー効率の向上」を実現すると述べている。
一方で、Colossusの稼働は環境面での懸念も引き起こしている。メンフィスに設置されたこの巨大システムは、地域の環境、水供給、電力網に大きな負荷をかける可能性がある。地元のグループは、施設のタービンが大気汚染を引き起こすリスクについて調査を求めており、これに対し市当局は、xAIがスーパーコンピューターをサポートするために地域インフラの改善を約束していると述べている。
また、Colossusの構築にかかったコストも注目される。NVIDIA H100 GPUの1台あたりの価格が約30,000ドルであることを考えると、10万台のGPUだけで少なくとも30億ドル（約4,400億円）の投資が必要だったと推測される。さらに、電力供給や冷却設備などのインフラ整備にも莫大なコストがかかっていると見られる。
Colossusの稼働は、AIトレーニングの新時代の幕開けを告げると同時に、技術発展と環境保護、イノベーションと規制のバランスという、AI業界が直面する複雑な課題を浮き彫りにしている。今後、xAIがこの強大な計算力をどのように活用し、どのような成果を生み出すのか、注目されるところだ。
Sources
コメント