テクノロジー
Meta、30B級Muse Glimmerを公開：RAM 24GB級で動かすローカルエージェント
MetaがMuse Sparkから蒸留した約296億パラメータのMuse GlimmerをApache 2.0で公開。4-bit量子化とDFlashで、周辺構成を含む24GBまたは32GB級のメモリ枠を想定したローカルエージェント向けモデルだ。
Tech Product
Llama.cpp
別名: llama.cpp
Overview
最終更新: 2026年7月11日MetaのLlamaなどのモデルを、標準的なコンシューマー向けハードウェア（CPUやAppleシリコン等）で動作させることを目的としたオープンソースプロジェクト。量子化技術によりメモリ消費を大幅に削減できる。
Mentioned Articles
5 件
テクノロジーGoogle、Gemma 4に12B Unifiedを追加：RAM 16GBのローカル環境で音声・画像エージェントを動かす布石
Googleは、中規模のオープンモデル「Gemma 4 12B Unified」を公開した。単一のデコーダーのみで音声・画像・テキストを直接処理する設計が特徴であり、16GB程度のメモリを持つPCで高度なマルチモーダルエージェントを構築できる。
テクノロジーGoogle、Gemma 4向けに推論速度を最大3倍向上させるMTP(Multi-Token Prediction)ドラフトモデルを公開
Googleは、Gemma 4の推論を最大3倍高速化するMulti-Token Prediction対応ドラフトモデルを公開した。このモデルは、投機的デコード技術によりトークン生成と検証を分離し、VRAM帯域幅のボトルネックを解消することで、エッジデバイスやローカルPCでの推論品質を低下させることなく大幅に改善する。
テクノロジーGoogle「FunctionGemma」が告げるエージェントAIの民主化：なぜ270Mの超軽量モデルが「スマホの頭脳」を変えるのか
Googleは同社の軽量言語モデルファミリー「Gemma」の最新ラインナップとして、「FunctionGemma」をリリースした。 パラメータ数わずか2億7000万（270M）という、現代のLLM（大規模言語モデル）の基 […]
テクノロジーNVIDIAとAMDが「Copilot+ PC」に対応したゲーミングノートPCを構築する
Microsoftが先日発表した「Copilot+ PC」は、発表当初QualcommのSnapdragon Xチップを搭載したノートPCしかラインナップされていなかったが、NVIDIAの本日の発表によればQualcom […]
External Mentions
10 件- arXivCalibration-Preserving Pruning: Compression as a Reliability Contract
- arXivOpen at the Edge, Captured at the Center: llama.cpp and the Political Economy of Local AI Inference
- arXivS2-MoE: Enabling Efficient Self-Speculative Decoding for Mixture-of-Experts on Edge Devices
- arXivHeteroMosaic: Exposing and Exploiting Heterogeneous Execution Opportunities for Energy-Efficient Edge LLM Inference
- arXivGauge dependence and structured-output corruption in sign-branched repetition penalties: measurements across models, inference stacks, and alternative repetition controls
- arXivThe Illusion of Safety: Multi-Tier Verification of AI vs. Human C++ Code
- arXivThe Illusion of Safety: Multi-Tier Verification of AI vs. Human C++ Code
- arXivDoes Mixture-of-Experts Actually Help Inference on Consumer and Edge Hardware? An Empirical Study
- arXivLlamas on the Web: Memory-Efficient, Performance-Portable, and Multi-Precision LLM Inference with WebGPU
- arXivThe Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility