テクノロジー
Mistral AI、オープンソースLLM「Mixtral 8x22B」をリリース、他のオープンソースLLMを圧倒する性能
フランスのAIスタートアップMistral AIは、オープンソースにおいて、最高の性能と効率を達成したとする新型オープンソース言語モデル「Mixtral 8x22B」を発表した。 このモデルは、1,410億個のパラメータ […]
Term
SMoE
別名: Sparse Mixture-of-Experts
Overview
最終更新: 2026年7月9日Sparse Mixture-of-Expertsの略。大規模なニューラルネットワークを複数の「エキスパート」に分割し、入力に応じて最適なエキスパートのみを選択的に使用する手法。これにより、モデル全体のパラメーター数を増やして表現力を高めつつ、推論時の計算コストや速度を抑えることが可能になる。
Mentioned Articles
1 件External Mentions
5 件- arXivRevised orbital parameters of the gamma2 Velorum system
- arXivProbing the 3D Structures of Supernovae through IR Signatures of CO and SiO
- arXivTuning of exciton type by environmental screening
- arXivJWST Observations of SN 2024ggi II: NIRSpec Spectroscopy and CO Modeling at 285 and 385 Days Past the Explosion
- arXivRetrieval of fundamental material parameters of monolayer transition metal dichalcogenides from experimental exciton energies: An analytical approach