テクノロジー
AMD製GPUで学習させた推論特化型軽量モデル「ZAYA1-8B」がリリース：NVIDIA一強体制への挑戦とAMDハードウェアの実用性
米Zyphraは、AMD Instinct MI300のみでフルスタック学習させた80億パラメータの推論モデル「ZAYA1-8B」を公開した。独自のアーキテクチャと推論時計算手法「Markovian RSA」により、大手モデルに匹敵する数理・コーディング性能を達成し、Apache 2.0ライセンスで商用利用を促進する。
Term
Mixture of Experts
別名: MoE, Mixture of Experts, Mixture-of-Experts
Overview
Mixture of Experts（MoE）は、ニューラルネットワークのアーキテクチャの一種で、モデルを複数の「専門家（Expert）」ネットワークに分割します。入力データに応じて、その処理に最適な少数の専門家のみを活性化させることで、モデル全体のパラメータ数は膨大であっても、推論時の計算負荷やメモリ消費を劇的に低減できます。
Mentioned Articles
15 件-
-
テクノロジーGoogle、Gemma 4向けに推論速度を最大3倍向上させるMTP(Multi-Token Prediction)ドラフトモデルを公開
Googleは、Gemma 4の推論を最大3倍高速化するMulti-Token Prediction対応ドラフトモデルを公開した。このモデルは、投機的デコード技術によりトークン生成と検証を分離し、VRAM帯域幅のボトルネックを解消することで、エッジデバイスやローカルPCでの推論品質を低下させることなく大幅に改善する。
-
テクノロジーDeepSeek V4プレビュー公開、1.6兆MoEで100万トークン文脈を狙う
DeepSeek-AIは、100万トークンのコンテキスト長を持つDeepSeek-V4シリーズのプレビュー版を公開した。DeepSeek-V4-ProとDeepSeek-V4-Flashは、それぞれ1.6兆と2840億のパラメータを持つMixture-of-Expertsモデルであり、長文推論のコスト効率を大幅に改善した。特に、Compressed Sparse AttentionとHeavily Compressed Attentionを組み合わせたハイブリッド注意機構により、1トークン推論FLOPsとKVキャッシュを大幅に削減し、大規模言語モデルの運用コスト低減に貢献する。
-
テクノロジーOpenAI、個人情報を端末内で消すPrivacy FilterをApache 2.0で公開
OpenAIは、テキスト中の個人識別情報（PII）をローカルで検出・マスクする「OpenAI Privacy Filter」を公開した。Apache 2.0ライセンスで提供され、クラウドに送る前のデータ処理に活用できるが、匿名化ツールや法令順守の証明にはならないため、高リスク用途での利用には注意が必要だ。
-
テクノロジー中国Zhipu AIが旗艦モデル「GLM-5」をオープンウェイトで発表：OpenAI等の商用モデルに並ぶエージェント機能を格安に実現
2026年2月11日、北京。中国のAIスタートアップの筆頭格であるZhipu AI（智譜AI、旧称：Knowledge Atlas Technology）は、最新の旗艦基盤モデル「GLM-5」を発表した。春節（旧正月）を […]
-
テクノロジー中国Moonshot AI、オープンソースモデル「Kimi K2.5」を発表：100体の「Agent Swarm」がGPT-5.2を猛追
2026年1月、AI業界にまたしても中国からの巨大な波が押し寄せた。AlibabaやHongShan（旧Sequoia China）から巨額の支援を受けるMoonshot AI（月之暗面）が、最新のオープンソースモデル「 […]
-
テクノロジーZhipu AI「GLM-4.7」シリーズ徹底解剖：30B級最強の「Flash」と進化する「思考するAI」が描く、ローカルLLMの新たな地平
2026年1月20日、中国の有力AI企業であるZhipu AI（Z.ai）は、オープンソースとオープンサイエンスの精神を掲げ、既に発表していた新たな言語モデルシリーズ「GLM-4.7」に続き、その軽量版である「GLM-4 […]
-
テクノロジーPhison、「aiDAPTIV+」を拡張しPC上のAI推論を強化：ノートPCで120Bモデルが動く「エッジAI民主化」の正体
2026年1月、ラスベガスで開催されたCES 2026において、Phison Electronicsは、「aiDAPTIV+」テクノロジーの拡張版を発表した。同社はこれにより、高価なGPUメモリ（VRAM）の限界という、 […]
-
テクノロジー中国発AI「Kimi K2 Thinking」、性能でGPT-5を凌駕：オープンソースの新時代到来か
中国のAIスタートアップMoonshot AIが発表したオープンソースモデル「Kimi K2 Thinking」が、主要な性能ベンチマークでOpenAIのGPT-5やAnthropicのClaude Sonnet 4.5 […]
-
テクノロジーApple、Siri刷新のため年間10億ドルでGoogleのカスタム版Gemini使用と報じられる：自社開発の行方は果たして
テクノロジー業界の勢力図を塗り替えかねない、重大な提携が最終局面を迎えている。長年、音声アシスタントの性能で後塵を拝してきたAppleが、Siriの全面的な機能刷新に向け、最大のライバルであるGoogleの生成AIモデル […]
-
テクノロジーOpenAI、6年ぶりのオープンモデル「gpt-oss」をリリース：有料モデルが好調な今、あえて無料モデルをリリースする意味とは
OpenAIは2025年8月5日、「gpt-oss-120b」と「gpt-oss-20b」という2つのオープンウェイトモデルを同時に公開した。これは、2019年のGPT-2以来となるオープンソースへの回帰である。プロプラ […]
-
テクノロジー次のDeepSeekか？中国発オープンソース「Kimi K2」が登場：圧倒的低価格でGPT-4.1やClaude 4 Opusを凌駕する“エージェントモデル”
中国のAIスタートアップ、Moonshot AIが発表したオープンソースモデル「Kimi K2」がAI業界に波紋を広げそうだ。これは単なる高性能な大規模言語モデル（LLM）の登場ではなく、AI開発の根底に横たわる「経済学 […]
-
テクノロジーGoogle、推論特化型TPU「Ironwood」発表：世界最速スパコンの24倍の演算能力を実現
Googleは、同社が「推論の時代」と呼ぶ新たなフェーズに向けた最新AIアクセラレータ「Ironwood」を発表した。第7世代となるこのTensor Processing Unit (TPU)は、Google史上初めて推 […]
-
テクノロジー中国DeepSeek、AI業界に衝撃：最新推論モデル「DeepSeek-R1」でOpenAIの最新モデルと同等性能を95%低コストで実現
中国の新興AIスタートアップDeepSeekが、人工知能の歴史に新たな一章を刻む革新的な言語モデル「DeepSeek-R1」を発表した。このモデルは、業界最高峰とされるOpenAIの「o1」と同等の性能を持ちながら、驚異 […]
-
テクノロジー中国のAIスタートアップ「SenseTime」がGPT-4 Turbo超えのAIモデル「SenseNova 5.0」を発表
中国のAIスタートアップ「SenseTime」社は、マルチモーダル大規模言語モデル（LLM）の「SenseNova 5.0」を発表した。これまであまり名前を聞いたことのないこの企業は、今回ある主張によって一挙に注目を集め […]
External Mentions
8 件- arXiv Multi-Modal Spatio-Temporal Graph Neural Network with Mixture of Experts for Soil Organic Carbon Prediction
- arXiv Metis: A Generalizable and Efficient World-Action Model for Autonomous Driving and Urban Navigation
- arXiv From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models
- arXiv Achieving Cloud-Grade SLOs for Local Mixture-of-Experts Inference through CPU-GPU Hybrid Design
- arXiv FAME: Forecastability-Aware Mixture of Experts for Heterogeneous Time Series Forecasting
- arXiv STELLAR: Spatio-Temporal Environmental Learning with Latent Alignment and Refinement for Long-Tailed Species Distribution Modeling
- arXiv Sparse Subspace-to-Expert Sharing for Task-Agnostic Continual Learning
- Hacker News Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts (2017)