テクノロジー
Google、オープンソースAIモデル「Gemma」を更新し、2つの新たなモデルも追加
Googleのオープンソース大規模言語モデル「Gemma」ファミリーに、コード補完とより効率的な推論のための新しいモデルが追加された。Gemmaへのこれらの変更は、今年2月に初めてリリースされて以来の大きな拡張となる。 […]
Tech Product
TensorRT-LLM
Overview
最終更新: 2026年7月12日NVIDIAのTensorRTをベースに、LLMの推論パフォーマンスを最大化するために設計されたライブラリ。最新の最適化技術を統合し、高いスループットと低遅延を実現する。
Mentioned Articles
1 件External Mentions
4 件- arXivParallel Track Transformers: Enabling Fast GPU Inference with Reduced Synchronization
- Hacker NewsPhind Model beats GPT-4 at coding, with GPT-3.5 speed and 16k context
- Hacker NewsLLMs up to 4x Faster With Latest NVIDIA Drivers on Windows
- Hacker NewsNVIDIA introduces TensorRT-LLM for accelerating LLM inference on H100/A100 GPUs