Term

vLLM

別名: vLLM

vllm.ai

Overview

最終更新: 2026年7月9日

PagedAttentionなどの技術を用いて、大規模言語モデルの推論スループットを最大化するためのオープンソースライブラリ。TPU 8iなどのハードウェア上で効率的に動作するようサポートされている。

Mentioned Articles

9 件

External Mentions

10 件