Term

SGLang

Overview

大規模言語モデル(LLM)の推論やサービングを効率化するために設計されたプログラミング言語およびランタイム。Googleの第8世代TPUエコシステムにおいてネイティブにサポートされている。

Mentioned Articles

4 件

External Mentions

2 件