半導体大手AMDのAIへの取り組みは、新たに同社初の小規模言語モデル「AMD-135M」を発表するという形で明らかになった。同社はそのコードとモデルをオープンソースで公開し、AIテクノロジーの民主化と、より広範な開発者コミュニティへのアクセス提供を目指すことで、ライバルNVIDIAに対抗しようとしている。
AMD-135M：AMDの野心的なAIへの第一歩
AMD-135Mは、AMDが初めて開発した小規模言語モデル（SLM）であり、LLaMA2モデルアーキテクチャをベースにしている。このモデルは、AMD Instinct MI250アクセラレータを使用して、670億トークンという膨大なデータセットで学習された。
特筆すべき点は、AMD-135Mが完全にオープンソース化されていることだ。トレーニングコード、データセット、そしてモデルの重みまでもが公開されており、開発者やリサーチャーが自由にアクセスし、活用できる。これにより、AIコミュニティ全体の発展に貢献することが期待される。
AMD-135Mには2つのバリエーションが存在する：
- AMD-Llama-135M：一般的なデータで学習された基本モデル
- AMD-Llama-135M-code：追加で20億トークンのコードデータで微調整されたモデル
学習プロセスは、4つのMI250ノードを使用して6日間かけて行われた。これは、AMDのハードウェアがAI学習タスクに対して十分な性能を持っていることを示している。
AMD-135Mの技術詳細と革新的な最適化
AMD-135Mモデルの主な仕様：
- パラメータ数：1億3500万
- レイヤー数：12（各レイヤーに12の注意ヘッド）
- 隠れ層のサイズ：768
- コンテキストウィンドウサイズ：2048
- 活性化関数：Swiglu
- 位置エンコーディング：RoPE（Rotary Positional Embedding）
AMD-135Mは、単なる言語モデルの公開以上の意味を持つ。このモデルには、AIの推論速度を大幅に向上させる「Speculative Decoding」と呼ばれる革新的な技術が組み込まれている。
Speculative Decodingの仕組み：
- 小規模な「ドラフトモデル」が候補トークンのセットを生成
- より大規模な「ターゲットモデル」がそれらを検証
- 1回の前方パスで複数のトークンを生成可能に
この手法により、メモリアクセスの効率が向上し、推論速度が大幅に改善される。AMD-135M-codeをCodeLlama-7bのドラフトモデルとして使用した場合、AMD Instinct MI250アクセラレータ、Ryzen AI CPU、Ryzen AI NPUでの推論性能が向上したことが報告されている。
また、AMD-135Mの学習には、SlimPajamaとProject Gutenbergのデータセットが使用された。これらのデータセットには、CommonCrawl、C4、GitHub、書籍、ArXiv、Wikipedia、StackExchangeなどの多様なソースが含まれており、モデルの言語理解能力を幅広く強化している。
性能評価では、SciQ、WinoGrande、PIQAなどのNLPベンチマークが使用された。特に、Humanevalデータセットでは約32.31%のパス率を達成し、同規模のモデルと比較して競争力のある性能を示している。
AMDのこの動きは、AI市場における自社の位置づけを強化するとともに、オープンソースAIの発展に貢献するという二つの目的を達成している。AMD-135Mは、研究者や開発者が自由に利用でき、さらなる改良や応用が可能なプラットフォームとなることが期待される。
Xenospectrum’s Take
AMDによるAMD-135Mの発表は、AI業界に新たな風を吹き込む重要な出来事だと考えられる。これまでNVIDIAが独占的な地位を築いてきたAIハードウェア市場に、AMDが本格的に参入したことを示している。
特に注目すべきは、AMDがオープンソースアプローチを採用していることだ。これは、AIの民主化を促進し、より多くの開発者やリサーチャーがAI技術にアクセスできるようにする重要な一歩となる。また、Speculative Decodingの導入は、AIモデルの推論速度向上という課題に対する革新的なアプローチを示しており、今後のAI開発の方向性に影響を与える可能性がある。
一方で、AMD-135Mは比較的小規模なモデルであり、GPT-4やLlama 2などの大規模言語モデルと直接競合するものではない。しかし、この取り組みはAMDのAI市場における存在感を高め、将来的により大規模なモデルの開発につながる可能性がある。
今後は、AMD-135Mがどのように進化し、どのような応用例が生まれるのか、そしてAMDがAI市場でどのようなポジションを確立していくのか、注目していく必要がある。オープンソースコミュニティの貢献と、AMDの継続的な投資が、AI技術の更なる発展をもたらすことを期待したい。
Sources
コメント