テクノロジー
DeepSeek V4プレビュー公開、1.6兆MoEで100万トークン文脈を狙う
DeepSeek-AIは、100万トークンのコンテキスト長を持つDeepSeek-V4シリーズのプレビュー版を公開した。DeepSeek-V4-ProとDeepSeek-V4-Flashは、それぞれ1.6兆と2840億のパラメータを持つMixture-of-Expertsモデルであり、長文推論のコスト効率を大幅に改善した。特に、Compressed Sparse AttentionとHeavily Compressed Attentionを組み合わせたハイブリッド注意機構により、1トークン推論FLOPsとKVキャッシュを大幅に削減し、大規模言語モデルの運用コスト低減に貢献する。