テクノロジー
NVIDIAがRubinの推論設計を詳説、GPUからラックまで「待たせない」仕組み
RubinはMoEの重み搬送や長文脈Attention、カーネル依存、NVLink同期の待ち時間を減らす。NVIDIAは推論設備の演算器を止めず、電力当たりの処理量を伸ばす設計を具体化した。
Term
Transformer Engine
Overview
最終更新: 2026年7月9日AIのTransformerモデルの処理を高速化するために設計された専用のハードウェアおよびソフトウェア層。Blackwellに搭載された第2世代では、新しいマイクロテンサースケーリングとFP4精度のサポートにより、推論性能とメモリ効率を劇的に向上させている。
Mentioned Articles
2 件
External Mentions
10 件- arXivExplanation-Guided Metamorphic Testing of Specialized Language Models: An Empirical Study
- arXivBeyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering
- arXivLocal Structure Dictates Ionic Transport and Mechanical Properties in Glassy Solid Electrolytes for Lithium Batteries
- arXivBeyond Starry Night: Shortcut-Aware Control-State Planning for Artist-Grounded Text to Image Generation
- arXivOvercoming Scattering in High-Cell-Density Tomographic Volumetric Bioprinting Using Computational Light Optimization
- arXivA Tale of Two Couplings: Bayesian Selection in the Interacting Dark Sector
- arXivA Physics-Flavored Transformer Network for Parametrizing Contraction Dynamics of Engineered Skeletal Muscle Tissues
- arXivEquivariant Music Transformer
- arXivSPADE: An Input-Adaptive Sparse Attention Engine for Fast Video Diffusion Models Inference
- arXivThe Agent Operating System (AOS): A Reference Operating Architecture for Distributed Agentic Systems