テクノロジー
Google、Gemma 4に12B Unifiedを追加：RAM 16GBのローカル環境で音声・画像エージェントを動かす布石
Googleは、中規模のオープンモデル「Gemma 4 12B Unified」を公開した。単一のデコーダーのみで音声・画像・テキストを直接処理する設計が特徴であり、16GB程度のメモリを持つPCで高度なマルチモーダルエージェントを構築できる。
Tech Product
Llama.cpp
別名: llama.cpp
Overview
MetaのLlamaなどのモデルを、標準的なコンシューマー向けハードウェア（CPUやAppleシリコン等）で動作させることを目的としたオープンソースプロジェクト。量子化技術によりメモリ消費を大幅に削減できる。
Mentioned Articles
4 件-
-
テクノロジーGoogle、Gemma 4向けに推論速度を最大3倍向上させるMTP(Multi-Token Prediction)ドラフトモデルを公開
Googleは、Gemma 4の推論を最大3倍高速化するMulti-Token Prediction対応ドラフトモデルを公開した。このモデルは、投機的デコード技術によりトークン生成と検証を分離し、VRAM帯域幅のボトルネックを解消することで、エッジデバイスやローカルPCでの推論品質を低下させることなく大幅に改善する。
-
テクノロジーGoogle「FunctionGemma」が告げるエージェントAIの民主化：なぜ270Mの超軽量モデルが「スマホの頭脳」を変えるのか
Googleは同社の軽量言語モデルファミリー「Gemma」の最新ラインナップとして、「FunctionGemma」をリリースした。 パラメータ数わずか2億7000万（270M）という、現代のLLM（大規模言語モデル）の基 […]
-
テクノロジーNVIDIAとAMDが「Copilot+ PC」に対応したゲーミングノートPCを構築する
Microsoftが先日発表した「Copilot+ PC」は、発表当初QualcommのSnapdragon Xチップを搭載したノートPCしかラインナップされていなかったが、NVIDIAの本日の発表によればQualcom […]
External Mentions
10 件- arXiv Llamas on the Web: Memory-Efficient, Performance-Portable, and Multi-Precision LLM Inference with WebGPU
- arXiv The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility
- arXiv PipeSD: An Efficient Cloud-Edge Collaborative Pipeline Inference Framework with Speculative Decoding
- arXiv Grid-Orch: An LLM-Powered Orchestrator for Distribution Grid Simulation and Analytics
- arXiv Kerncap: Automated Kernel Extraction and Isolation for AMD GPUs
- Hacker News Show HN: We made our own inference engine for Apple Silicon
- Hacker News Llama.cpp AI Performance with the GeForce RTX 5090 Review
- Hacker News DeepSeek-R1-671B-Q4_K_M with 1 or 2 Arc A770 on Xeon
- Hacker News Promising results from DeepSeek R1 for code
- Hacker News Llama.cpp guide – Running LLMs locally on any hardware, from scratch