テクノロジー
AMD製GPUで学習させた推論特化型軽量モデル「ZAYA1-8B」がリリース：NVIDIA一強体制への挑戦とAMDハードウェアの実用性
米Zyphraは、AMD Instinct MI300のみでフルスタック学習させた80億パラメータの推論モデル「ZAYA1-8B」を公開した。独自のアーキテクチャと推論時計算手法「Markovian RSA」により、大手モデルに匹敵する数理・コーディング性能を達成し、Apache 2.0ライセンスで商用利用を促進する。
Term
Compressed Convolutional Attention
別名: CCA
Overview
最終更新: 2026年7月9日Zyphraが導入したアテンション機構。圧縮された潜在空間でシーケンス処理を行うことで、従来のマルチヘッドアテンションと比較してKVキャッシュのサイズを大幅に（記事では8分の1）削減し、長文脈処理時のメモリ効率を改善する。
Mentioned Articles
1 件External Mentions
5 件- arXivMulti-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series
- arXivGeneralization Analysis of Transformers in Distribution Regression
- arXivLightweight PCGAE-Net: Parallel CrossGate Attention and Bottleneck AutoEncoder for Efficient 5G Channel Prediction
- arXivAn Integrated Hardware-Software Design for Low-Data Spatial Defect Detection in Robotic Visual Inspection with Hybrid Optoelectronic Neural Networks
- arXivATMA: Length-Invariant Language Modeling via Polar Attention and Gated-Delta Compression Memory