フランスのAIスタートアップZMLが、LLM推論サーバー「ZML/LLMD」を無料製品として公開した。TechCrunchが2026年7月8日に報じ、ZMLの公式ページもLLMDを「universal LLM server」として掲載している。対象モデルはLLaMaとGemmaを含み、QwenやMistral系も入る。実行先にはNVIDIA CUDAとAMD ROCmがある。Google TPU、Intel oneAPI、Apple Metalも対象に入る。新しい基盤モデルの発表ではない。企業がAIを動かすときの推論サーバーを、特定のアクセラレータへ閉じ込めないための製品である。

GPU不足や推論コストに悩む企業は、こうした製品を試す理由を持つ。AIアプリケーションが日常的に使われるほど、学習よりも推論の費用と運用が前面に出る。ZMLはそこで、サーバー側の入口を共通化し、裏側では各チップへ最適化された実行物を使う道を示した。実際にどこまで速く、どこまで安くなるかは検証を待つ必要がある。それでも、推論基盤の競争がモデル性能から実行環境の自由度へ広がっていることははっきりした。

AD

五つのアクセラレータを同じ入口に並べる

ZML/LLMDの売りは、対応チップの幅を前面に出している点だ。公式ページでは、NVIDIA向けにCUDA版のDockerイメージ、AMD向けにROCm版、Intel向けにoneAPI版を示している。Google TPUにはTPU版があり、Apple MetalではHomebrewでインストールする形を案内する。ページ上のプラットフォームサイズは、CUDAが1.7GB、ROCmが3.9GBである。TPUは280MB、OneAPIは350MB、Metalは140MBだ。

推論サーバーとしての機能も揃えている。ZMLはLLMDに、継続的バッチング、Paged Attention、テンソル並列シャーディングを載せている。Prefix Caching、Tool Calling、Prometheusのメトリクス出力も備える。Hugging Face、S3、Google Cloud Storageからモデルを読む仕組みもある。パスは hf://、s3://、gs:// を使う。モデルを別途ダウンロードしてから配置する前提を減らし、サーバーがある場所でそのまま読み込む設計だ。

性能面で目を引くのは、DFlash speculative decodingだ。ZMLのLLMDページは、対応モデルでDFlashが10倍の高速化をもたらすと主張している。Gemma 4シリーズ向けのネイティブ対応は出荷済みで、Qwen対応は予定としている。ただし、この数字はZML側の説明であり、対象モデルに限定される。すべてのモデルやすべてのチップで10倍速くなるという意味ではない。ここを切り分けることが、LLMDを評価する出発点になる。

無料公開とオープンソースの距離

TechCrunchによると、ZML/LLMDは無料で始まるが、オープンソースではない。これはZMLの最初の公開プロジェクトと性格が違う。ZMLは2024年に推論向けの機械学習フレームワークをGitHubで公開しており、同リポジトリはZig、MLIR、Bazelを使う。NVIDIA、AMD、Intelに加え、TPUやTrainiumへ直接コンパイルする構成も掲げている。2026年3月のZML/v2発表では、プラットフォーム、コンパイル、メモリを明示的に扱うよう全面的に書き直したと説明していた。I/Oと配置も同じ設計対象に入った。

LLMDは、その基盤の上にある商用製品の入口に近い。TechCrunchは、ZML創業者Steeve Morinが利用状況を測り、成長を妨げない形で収益化したいと話したと伝えている。つまり無料公開は、永久無料の約束ではなく、採用と利用実態を集めるための立ち上げ策と見るべきだ。企業にとっては、無料で試せる利点と、将来の価格やライセンスが未確定であるリスクが同時に残る。

オープンソースでないことは、導入判断にも影響する。vLLMやSGLangのような公開プロジェクトは、性能改善や不具合対応を外部から追いやすい。LLMDでは、ZMLが内部実装、ベンチマーク、障害時の挙動をどこまで説明できるかが導入判断に効く。とくに複数アクセラレータをまたぐサーバーでは、対応表に名前が載ることと、本番の長いコンテキストや同時リクエストを処理し、メモリ圧迫やドライバの違いにも耐えることの間に距離がある。

AD

NVIDIAの外へ広がる選択肢

ZMLの狙いは、NVIDIAを正面から退けることではない。TechCrunchによると、MorinはNVIDIAに弱気ではなく、同社との関係も良いと話している。むしろLLMDが動かそうとしているのは、NVIDIAを使うか使わないかという二択ではなく、推論ワークロードごとに使えるチップを増やすことだ。企業がモデルや用途に応じてCUDA、ROCm、TPUを組み合わせられれば、調達面の選択肢は増える。oneAPIやMetalまで同じ入口に入れば、電力と価格も交渉しやすくなる。

この方向は、欧州のAIチップ企業にとっても意味を持つ。TechCrunchは、MorinがAxeleraやFractile、Kalray、OLIXに触れたと伝えている。Q.ANTやSiPearl、SpiNNcloud、VSORAも同じ文脈で挙がった。新興チップ企業は、ハードウェアだけで顧客を獲得できない。既存のモデルや推論サーバーが動き、開発者が運用できるソフトウェア層が要る。ZMLのような横断スタックは、そうしたチップをAI用途へつなぐ通路になり得る。

競合もすでに多い。TechCrunchは、ZML/LLMDと部分的に競合する存在としてvLLM、SGLang、Basetenなどを挙げている。ZMLはここで、推論サーバーの機能リストより低い層へ踏み込もうとしている。Morinは同紙に、ZMLがシリコンの共同設計にまで到達していると述べた。ソフトウェアが特定のチップを使う段階から、チップ側の設計へ要求を返す段階に入るなら、推論基盤の競争はより低い層へ降りていく。

次の確認点はベンチマークと価格

LLMDの価値は、発表文の対応表だけでは決まらない。まず必要なのは、同じモデル、同じ負荷、同じ精度条件での独立ベンチマークだ。DFlashの10倍という主張は強いが、Gemma 4シリーズの対応モデルに限られる。Qwen対応は予定であり、ほかのモデルでは別の結果になる。CUDA版、ROCm版、TPU版で、起動時間とスループットがどう変わるかを見なければならない。oneAPI版とMetal版でも、レイテンシやメモリ使用量の実測が要る。

価格も未確定だ。TechCrunchは、ZMLが20人の小さなチームで、2,000万ドルを調達済みだと報じている。投資家には20VC、>commit、AALVC、Drysdale Venturesが含まれる。Kima Ventures、Kindred Capital、LocalGlobe、Puzzle Venturesも参加している。資金規模は小さくないが、マルチチップの推論サーバーを継続して保守するには、各ベンダーのランタイム、ドライバ、モデル形式の変化を追い続ける必要がある。無料のまま保守対象を広げ続けるには限界がある。

ZML/LLMDは、推論の主戦場がモデルAPIの表面から、どのチップで、どのサーバーで、どれだけ安定して動かすかへ移っていることを示した。企業が次に見る数字は、単発の最高速度ではない。実運用の混雑時にどれだけ崩れないか、複数チップを混ぜたときに管理が複雑化しないか、無料公開後の価格が既存スタックから移る理由を保てるかだ。LLMDがそこを越えれば、推論インフラの選択肢は見た目より大きく変わる。