SGLangを支える非営利組織LMSYS Orgは2026年11月12日、NVIDIAやAMDなど8社と「SGLang Consortium」を設立した。SGLangは、学習済みAIモデルを動かして利用者の入力に応答する「推論」のためのエンジンだ。新しい協議体では各社が技術代表を送り、開発課題や資源を持ち寄る一方、技術判断とコード採用は引き続きプロジェクトのメンテナーが担う。すでに複数のハードウェアに対応するソフトを、企業横断でどう育てるかが問われる。
創設メンバーはNVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal、RadixArkの8社である。LMSYSはサンフランシスコで開いた初回SGLang Summitの基調講演で設立を発表した。同イベントは11月12〜13日にFort Mason Center for Arts & Cultureで開催され、100人を超える登壇者が強化学習やマルチモーダル、ハードウェアなどを扱う。
年2回の協議とメンテナーの技術判断
創設メンバーはそれぞれ技術代表を指名し、年2回のロードマップ会議に参加する。会議には専門技術や運用現場からのフィードバックを持ち寄り、テスト資源の提供や共同開発にも取り組む。会議の間には、作業部会が協力する場合もあるという。
取り組む分野には、新しい高性能モデルを動かせるようにする先端モデルへの対応、答えを導くまで段階的に考える推論モデルやマルチモーダルの処理、複数の計算資源に処理を分ける分散推論、ハードウェアの最適化が含まれる。モデルを開発する側、サービスを運用する側、計算資源を提供する側の課題を同じ場に持ち込める構成だ。
| 主体 | 発表で示された役割 |
|---|---|
| 創設メンバー | 技術代表を指名し、年2回の会議と共同開発へ参加 |
| 会議間の作業部会 | 必要に応じて協力 |
| メンテナー | 技術判断とコード採用を担当 |
注：2026年11月12日のLMSYS発表における主体別の役割。
AMDは協議体の設立前の8月、GPU向けの最適化ツールHyperloomがSGLangに対応すると説明していた。企業側は課題・資源を持ち寄り、メンテナーは技術判断とコード採用を担う。既存対応と今後の成果を区別できる。LMSYSは方向性と進捗に関する情報を公開し、更新するとともに、プロジェクトをコミュニティ全体に開く方針も示した。
AMDは8月の資料でもSGLang対応に言及
SGLangは大規模言語モデルやマルチモーダルモデルを本番環境で動かすための推論基盤である。公式文書は、入力の先頭部分に関する計算結果を再利用するプレフィックスキャッシュや、複数GPUの並列処理などを用い、低遅延と高い処理量を目指すと説明する。同じ部分を繰り返し計算する負担や、大きな処理を一つのGPUで担う制約に対処する設計だ。
対応先にはNVIDIAとAMDのほか、Intel Xeon、Google TPUなどが挙がる。複数社の参加は、これらのハードウェアが今回初めて対応したことを意味しない。
AMDが8月27日のROCm 10発表で紹介したHyperloomは、AMD Instinct GPU向けに最適化を行い、vLLMにも対応する。Hyperloomは処理を分析してボトルネックを特定し、最適化案を探して変更を実装する。さらにベンチマークを実行し、性能と正しさを検証すると同社は説明する。HIP、Triton、FlyDSLによる最適化を行い、変更案と、測定済みまたは予想される改善を報告する仕組みだ。
この8月の対応を前提に、11月の設立で加わるのが、企業間で継続的に方向性を協議する場である。AMDのNewsroomも11月12日付で設立発表を掲載し、LMSYSの本文へリンクした。すでに個別に進められてきた最適化と、会議や共同開発から今後生まれる変更は、時系列を分けて評価できる。
推論の効率をソフトウェアから高める
LMSYSによると、SGLangは数十万基のGPUで稼働している。LMSYSは利用企業としてMetaやGoogleのほか、Microsoft、Amazon、Thinking Machines Labなどを挙げた。利用企業の顔ぶれと今回の創設メンバーは一部が重なる。協議体では、創設メンバーが専門技術や運用のフィードバックなどを持ち寄る方針だ。
SGLangの原論文共著者で、RadixArk共同創業者兼CEOのYing Sheng氏は、新たなデータセンターを建設する難しさを踏まえ、「AIの効率を改善するソフトウェアの手法が非常に重要になる」と述べた。これは効率改善への期待を示す見解である。NVIDIAのIan Buck氏も、ソフトウェアの改善によって同社の計算資源の性能を引き出せると述べ、推論コストが下がればAIを利用しやすくなるとの見方を示した。
Deloitteは2025年11月に公表した予測で、AI全体の計算量に占める推論の割合が2025年の半分から2026年には約3分の2になると見込んだ。2026年の集計実績ではなく予測だが、学習済みモデルを繰り返し動かす処理にも計算資源が必要になるという背景を示す。モデル、運用、ハードウェアの企業が課題を共有する狙いは、それぞれの条件にまたがる改善を進めることにある。
公開される計画と実装をどう見るか
LMSYSは協議体の方向性と進捗に関する情報を公開し、更新する方針だ。一方、設立発表には個別機能の投入時期や優先順位、具体的な性能改善率は示されていない。利用企業や開発者にとっては、どの機能が実際に採用され、使うモデルとハードウェアの構成でどの条件の下に効果を確認できるかが判断材料になる。
企業が持ち寄る運用課題を、メンテナーが採用できる実装につなげられるか。公開される変更とその測定条件がそろえば、利用者は自分たちの環境に必要な改善を見極められる。
