テクノロジー
2800億パラメータなのに稼働はわずか5％、Baiduが100万トークン対応の新AIモデルを公開
百度がERNIE 5.5 Flash Baseの重みを公開した。活性140億、128トークンの圧縮、最大100万トークン対応は別々の制約を表す。公式実装のGPU構成と独自ライセンスから、追加学習と運用の条件を読む。
Term
SGLang
Overview
最終更新: 2026年7月9日大規模言語モデル（LLM）の推論やサービングを効率化するために設計されたプログラミング言語およびランタイム。Googleの第8世代TPUエコシステムにおいてネイティブにサポートされている。
Mentioned Articles
14 件
テクノロジー2.8兆パラメータの巨大AI「Kimi K3.1 Pro」が重みを公開、1.56TBのモデルを自社環境で運用可能に
Moonshot AIがKimi K3.1 Proのモデル重みを公開した。1トークン当たりの活性化は総パラメータの約3.7%だが、配布物は約1.56TB。長文処理の変更、Ascendの検証範囲、商用利用条件から自社配備の判断材料を読む。
テクノロジーTencent、新AI「Hy4」正式版を発表：画像理解からPC操作まで対応、公式資料には数値の食い違いも
TencentのHy4正式版が視覚理解とPC操作に対応した。公式2資料を照合し、誤回答率と安全学習の説明差、内部評価の範囲から、業務を任せるために確かめたい条件を整理する。
テクノロジーMicrosoft、わずか40億パラメータのPC操作AIを公開 大型モデルを上回る成功率66%を記録
Microsoftが4B小型VLM「Mage-VL-Cowork」を公開した。GUI画面操作とシェルでのコード実行を単一ポリシーで切り替える設計により、無駄なクリックを省いて推論効率を引き上げる。自社報告ベンチマークの背景と運用要件を読み解く。
テクノロジー1兆パラメータの「Mistral Large 4」の重み公開、コード処理を効率化：中国勢との性能・費用差は
MistralがLarge 4改良版の学習済み重みを公開。コード処理の効率を改善した一方、総合得点とAPI課題費用では競合との差が残る。自前運用の計算資源と商用提供条件も採用を左右する。
テクノロジーわずか1GBで動く新AI「LFM3」登場、17億パラメータで90億規模のQwenを上回る性能も
Liquid AIのLFM3は、文章・画像・音声・判断へ展開する端末向け小型モデルだ。文脈長、評価結果、実行形式と商用条件の違いから、企業が仕事に合わせて選ぶ際の判断材料を整理する。
テクノロジーAIエージェントと人間がGPUを共有する時代へ、「llm-d 1.0」が優先度制御と無停止更新を強化
llm-d 1.0が分散AI推論の運用機能を強化した。人の対話とエージェントの大量要求を扱う優先度制御、更新の整合性、会話キャッシュの再利用を、既定設定や今後の開発項目との違いから読み解く。
テクノロジーNVIDIAのGPUに頼らないAI開発が加速？ GoogleとAWSがPyTorch向け新基盤を相次ぎ公開
GoogleとAWSが自社AIチップをPyTorchから扱う仕組みを拡充した。ライブラリを共有しやすくなる一方、入力形状による再コンパイルや未対応演算の実行先など、性能を確かめる条件は残る。
テクノロジーDeepSeek、大規模AIサービスを支える推論エンジン「DeepInfer」をオープンソース公開
DeepSeekが公開したDeepInferは、V4.1-Flashの推論を最適化する。候補検証や非同期処理の仕組みを説明し、全候補受理を前提とする性能集計と、サービス化に必要な追加基盤を読み解く。
テクノロジー5,013億パラメータの新AI「Beam」がオープン公開、推論計算量を競合の4分の1に削減
ReflectionがAIモデルBeamの重みを公開した。推論トークンの削減、量子化、補助モデルによる高速化を区別し、公開モデルカードと導入手順から自社運用の条件を読み解く。
テクノロジー「ターン制AI」はもう古い。元OpenAI CTOが放つ「全二重AI」の衝撃
Thinking Machines Labは、従来のAI音声会話が抱えていた非効率な「トランシーバー式」のボトルネックを解消するため、「インタラクションモデル」を発表した。このモデルは、時間軸を根幹アーキテクチャに組み込み、200ミリ秒単位で入出力を連続処理する全二重通信により、人間のような自然な会話と即時応答を実現する。さらに、対話維持に特化した「インタラクションモデル」と、深い推論を非同期で行う「バックグラウンドモデル」に分割することで、応答性と知性を両立させている。
テクノロジーGoogle、第8世代TPU「8t / 8i」を発表：「エージェントAI時代」に向けた学習・推論アーキテクチャの分離戦略
Googleは、AIエージェントの台頭によるインフラ要求の変化に対応するため、第8世代TPUで学習特化の「TPU 8t」と推論特化の「TPU 8i」という2つの独立したチップを導入した。これにより、フロンティアモデルの学習時間短縮と低遅延推論を実現し、用途特化によるパフォーマンスと電力効率の最大化を追求している。
テクノロジーAIが日常会話からリアルタイム学習する時代へ。プリンストン大発の強化学習フレームワーク「OpenClaw-RL」が覆すエージェント開発の常識
AIエージェントとやり取りする際、我々が発する些細なフィードバックや、システムが返すエラーメッセージは、次のアクションのためのコンテキストとして消費された直後、文字通り虚空へと消え去っている。「そこは違う」「もっと親しみ […]
テクノロジーZhipu AI「GLM-4.7」シリーズ徹底解剖：30B級最強の「Flash」と進化する「思考するAI」が描く、ローカルLLMの新たな地平
2026年1月20日、中国の有力AI企業であるZhipu AI（Z.ai）は、オープンソースとオープンサイエンスの精神を掲げ、既に発表していた新たな言語モデルシリーズ「GLM-4.7」に続き、その軽量版である「GLM-4 […]
External Mentions
6 件- Hacker NewsShow HN: Flide: Make Jev-like decision models up to 9.5x faster
- Hacker NewsLaunch HN: Magnitude (YC S25) – Self-optimizing inference engine for agents
- Hacker NewsShow HN: Nari Qwen3-TTS and Qwen3-ASR – High accuracy, low latency and cost
- Hacker NewsShow HN: Cactus Hybrid: We taught Gemma 4 to know when it's wrong
- Hacker NewsDeepSeek-V4 on Day 0: From Fast Inference to Verified RL with SGLang and Miles
- arXivDerivation of a $\PT$-Symmetric Sine-Gordon Model from a Nonequilibrium Spin-Boson System via Keldysh Functional Integrals