テクノロジー
AMD製GPUで学習させた推論特化型軽量モデル「ZAYA1-8B」がリリース：NVIDIA一強体制への挑戦とAMDハードウェアの実用性
米Zyphraは、AMD Instinct MI300のみでフルスタック学習させた80億パラメータの推論モデル「ZAYA1-8B」を公開した。独自のアーキテクチャと推論時計算手法「Markovian RSA」により、大手モデルに匹敵する数理・コーディング性能を達成し、Apache 2.0ライセンスで商用利用を促進する。
Term
Compressed Convolutional Attention
別名: CCA
Overview
Zyphraが導入したアテンション機構。圧縮された潜在空間でシーケンス処理を行うことで、従来のマルチヘッドアテンションと比較してKVキャッシュのサイズを大幅に（記事では8分の1）削減し、長文脈処理時のメモリ効率を改善する。