
テクノロジー
Google、H100で毎秒1,000トークン超を実現する拡散言語モデル「DiffusionGemma」をリリース
Google DeepMindが公開した拡散方式テキスト生成モデル「DiffusionGemma 26B」は、256トークンの一括処理によりGPUの並列演算能力を最大限に活用し、H100で1,000 tokens/sec超を達成。量子化時18GB VRAMで動作し、同サイズの自己回帰型Gemmaモデル比で最大4倍速いローカル推論向けの実験的オープンモデルだ。
別名: MLX
Appleのチップ(M1/M2/M3/M4等)の性能を最大限に引き出すために設計された、NumPyライクなAPIを持つ機械学習ライブラリ。ユニファイドメモリを効率的に活用できる。

Google DeepMindが公開した拡散方式テキスト生成モデル「DiffusionGemma 26B」は、256トークンの一括処理によりGPUの並列演算能力を最大限に活用し、H100で1,000 tokens/sec超を達成。量子化時18GB VRAMで動作し、同サイズの自己回帰型Gemmaモデル比で最大4倍速いローカル推論向けの実験的オープンモデルだ。

Googleは、Gemma 4の推論を最大3倍高速化するMulti-Token Prediction対応ドラフトモデルを公開した。このモデルは、投機的デコード技術によりトークン生成と検証を分離し、VRAM帯域幅のボトルネックを解消することで、エッジデバイスやローカルPCでの推論品質を低下させることなく大幅に改善する。

Googleは同社の軽量言語モデルファミリー「Gemma」の最新ラインナップとして、「FunctionGemma」をリリースした。 パラメータ数わずか2億7000万(270M)という、現代のLLM(大規模言語モデル)の基 […]

Appleは本日新たなAIモデルを公開したが、この動きはこれまでの噂にあった、AppleのAI戦略が“オンデバイスでのAI処理”に軸足を置いた物であることを裏付ける物だ。 4つのオープンソースモデルの公開 Appleは、 […]