The Informationが匿名の情報筋の話として伝えたところによると、MicrosoftがOpenAIのGPTやAnthropicのClaudeに対抗するため、独自の大規模言語モデル（LLM）のトレーニングを行っている事が報じられている。現在Microsoft社内で開発されているこの「MAI-1」（おそらく “M “は “Microsoft “の頭文字）と呼ばれるLLMは、5000億パラメータで開発が行われているようだ。
The Informationによると、このMA-1の開発は、Microsoftが先日引き抜いたInflection AIの創設者であり、GoogleのAI部門であるDeepMindの共同創設者でもあるMustafa Suleyman氏が率いているとのことだ。
Suleyman氏は先に所属していたInflection AIで別のLLMに取り組んでいた、Microsoftで取り組んでいるMAI-1は、Inflectionの物とはコードを共有していないが、そこで試用していたトレーニングデータを使用している可能性があるという。
Microsoftは、現在OpenAIのGPTモデルをCopilotやその他のAIサービスにおいて採用しているが、これを独自のLLMに置き換える事で、OpenAIへの依存度を下げたいと考えているようだ。
Microsoftはすでに、小型・軽量のオープンソースLLMを数多くリリースしている。少し前には、小型LLMの新しいPhi-3ファミリーをリリースするなど、独自の研究も盛んだ。Phiシリーズは、Microsoftが競争力のある言語モデルを開発できるようになったことを示している。ローカルで使用するこれらの小型モデルは、効率のために最適化されており、より少ない計算能力しか必要としない。かつてMicrosoftは、GoogleのAI開発力を恐れ、そのためOpenAIに投資していたが、少しずつ状況は変わってきているようだ。
The Informationの情報筋によると、MicrosoftはNVIDIA GPUの大規模なクラスタを予約し、新しい、より大規模なモデルを訓練するための訓練データをまとめたという。これには、より小さなモデルからのデータ、GPT-4によって生成されたテキスト、インターネットからの公開データが含まれる。
MAI-1の正確な目的はまだ決まっておらず、モデルの性能次第だという。The Informationによると、Microsoftは、今後数週間で開発が順調に進めば、5月末の開発者会議「Build」で新モデルを発表するかもしれないとのことだ。
Source
コメント