Microsoftは以前AGI構築のために「Stargate」と呼ばれる未曾有の大規模データセンターを構築する計画が伝えられたが、これについては未確認ながら、同社自身の口から現在でも桁違いの規模で計算能力の拡大を実施していることが明らかになった。そしてそれはまさにOpenAIの次世代モデル「GPT-5」の構築に用いられているようだ。
Microsoftは毎月561PFLOPSのスーパーコンピュータ5台相当の計算能力を増強している
Microsoft Buildカンファレンスにおいて、Azure CTOのMark Russinovich氏は、同社が毎月561PFLOPS（ペタフロップス）のEagleスーパーコンピューター5台分に相当する計算能力を展開していると報告した。
EagleはMicrosoft Azureで構築され、昨年11月に世界で最も強力なスーパーコンピューターのTop500ランキングに初登場し、3位にランクインした初のクラウドシステムであり、561.2ペタフロップス（HP Linpack）の性能を持つ世界で最も強力なクラウドスーパーコンピューターでもある。
「我々は14,400のネットワーク接続されたNVIDIA H100 GPUと561PFLOPSの計算能力でその地位を確保しましたが、当時はそのスーパーコンピューターの最終規模のほんの一部に過ぎなかったのです。我々のAIシステムは今や桁違いに大きくなり、毎日毎時間変化しています」とRussinovich氏はMicrosoft Buildで語った。Eagleは今月のTop500ランキングでも同じ性能を示しているため、同氏が言及しているのはAzure全体の計算能力だろう。
「（Eagleランクイン後の）わずか6ヶ月後には、我々は毎月そのスーパーコンピューター5台分に相当するものを展開しています」と、Russinovich氏は述べている。
これは、毎月72,000個のH100 GPUがMicrosoftの拡大するデータセンターのネットワークに分散していることを意味し、総計で2.8EFLOPS（エクサフロップス）の計算能力を持つ事を意味する。
「我々のGPUを接続する高速およびInfiniBandケーブルの長さは、地球を少なくとも5回は巻きつけることができるほどの長さです」と彼は付け加えた。地球の周囲は約40,000kmであり、200,000km以上のケーブルが使用されていることになる。
OpenAIの次世代モデルはGPT-4の25倍？
Microsoft Buildの他のセッションでは、MicrosoftのCTOであるKevin Scott氏が同社の次世代スーパーコンピューターについての洞察を提供したが。ただし表現は比喩的な物で、具体的な数値については言及していない。
「数字を出さずに話すのは難しいが、これらのシステムのスケールについて皆さんにアイデアを伝えたい。2020年に、我々はOpenAIのために最初のAIスーパーコンピューターを構築しました。それがGPT-3を構築したスーパーコンピューティング環境です」と、Scott氏は語る。
数字の代わりに、Scott氏は海洋生物をスケールの比喩として使用した。GPT-3のために構築したシステムは少なくともサイズ的にはサメに例えられるという。
「次に構築したシステムは、規模的にはシャチと同じくらいの大きさです。これは2022年に提供したGPT-4を訓練したシステムです」と彼は続けた。シャチはサメの約2倍の長さで、重さは3倍となる。
「そして、最近展開したシステムは、規模的にはクジラと同じくらい大きい物です」と、Scott氏は述べた。クジラはシャチの更に2倍以上の長さで、重さは実に25倍にもなる。
Scott氏はまた、モデル開発が新しいモデルの能力と使用される計算量との間に明確なリンクがあることを示しているとも述べた。「そして、クジラサイズのスーパーコンピューターを使えば非常に多くのAIを構築できることが分かります」と彼は言った。
「次のサンプルが来るということをしっかりと考えてもらいたい。このクジラサイズのスーパーコンピューターは、次の能力を皆さんに提供するために今まさに働いているのです」と、Scott氏は次の世代のAIモデルが桁違いの性能を実現する可能性を示唆した。
Sources
- Microsoft Build Transcript: 05212024 Build Kevin Scott [PDF]
コメント