テクノロジー
AMD製GPUで学習させた推論特化型軽量モデル「ZAYA1-8B」がリリース：NVIDIA一強体制への挑戦とAMDハードウェアの実用性
米Zyphraは、AMD Instinct MI300のみでフルスタック学習させた80億パラメータの推論モデル「ZAYA1-8B」を公開した。独自のアーキテクチャと推論時計算手法「Markovian RSA」により、大手モデルに匹敵する数理・コーディング性能を達成し、Apache 2.0ライセンスで商用利用を促進する。
Tech Product
ZAYA1-8B
Overview
Zyphraが開発した総パラメータ数84億、アクティブパラメータ数7.6億の軽量なMixture-of-Experts（MoE）モデル。AMD Instinct MI300スタック上で事前学習から強化学習まで完結しており、独自のMoE++アーキテクチャやMarkovian RSA技術を導入することで、小規模ながら巨大モデルに匹敵する高い推論性能とメモリ効率を実現している。