Google、Gemma 4向けに推論速度を最大3倍向上させるMTP(Multi-Token Prediction)ドラフトモデルを公開
Googleは、Gemma 4の推論を最大3倍高速化するMulti-Token Prediction対応ドラフトモデルを公開した。このモデルは、投機的デコード技術によりトークン生成と検証を分離し、VRAM帯域幅のボトルネックを解消することで、エッジデバイスやローカルPCでの推論品質を低下させることなく大幅に改善する。
別名: NVIDIA A100, A100
AI、データ分析、ハイパフォーマンスコンピューティング(HPC)向けに設計されたGPUです。マルチインスタンスGPU(MIG)機能を備え、リソースを細分化して効率的に利用することが可能です。
Googleは、Gemma 4の推論を最大3倍高速化するMulti-Token Prediction対応ドラフトモデルを公開した。このモデルは、投機的デコード技術によりトークン生成と検証を分離し、VRAM帯域幅のボトルネックを解消することで、エッジデバイスやローカルPCでの推論品質を低下させることなく大幅に改善する。
生成AI革命の裏側で、大きく問題視されるようになってきたのが「コスト」と「電力」だ。ChatGPTやClaudeといった最先端の大規模言語モデル(LLM)を稼働させるには、NVIDIA H100のような高性能かつ極めて高 […]
2025年12月、中国の上海交通大学と清華大学の共同研究チームが、科学誌『Science』に発表した論文において、既存の常識を覆す次世代プロセッサの実証に成功したと報告した。その名は『LightGen』。 このチップは、 […]
世界的なAI半導体市場において、絶対的な王者として君臨するNvidia。しかし今、その牙城を崩そうとする動きが、太平洋の両岸で同時に進行している。一方ではGoogleが自社製チップ「TPU(Tensor Processi […]
米国の厳格な輸出規制によって、中国への供給が断たれたはずのNVIDIA製高性能AIチップ。しかし、その規制網を巧みにすり抜けるかのように、中国・深圳の喧騒の奥深くで、新たな「地下産業」が力強く脈動している。それは、密輸さ […]
米国の厳格な輸出規制という逆風の中、半導体大手NVIDIAが中国市場向けに新たなAIチップを投入する計画であると、Reutersが報じている。最新のBlackwellアーキテクチャをベースとしつつも、性能と機能を大幅に絞 […]
世界最大の半導体受託製造企業であるTSMCは23日、中国のHuaweiが米国の輸出規制を回避してAIチップを製造しようとした可能性があることを米商務省に通報したことを明らかにした。 TSMCが米商務省に警告、Huawei […]
TikTokの運営元である中国のByteDance社が、独自AIプロセッサーの開発のため、米国の半導体設計企業Broadcom社と提携したことをReutersが報じている。 米国からの制裁が続く中で米企業との提携に活路を […]
AIスタートアップGroqは、公開ベンチマークで全ての競合を上回る、非常に高速なLPU推論エンジンを発表した。 Groqによると、LPU(Language Processing Unit™)は、大規模言語モ […]
NVIDIAは、最新のMLPerfトレーニングベンチマークの8つのテストすべてで新記録を樹立し、生成AI向けの新しいMLPerfテストでも優れた結果を示した事を発表した。スタートアップのInflection AIが共同開 […]