テクノロジー
PCとスマホが「AIデータセンター」に変わる日:新技術「SpecEdge」がLLMの運用コストを7割も削減可能に
生成AI革命の裏側で、大きく問題視されるようになってきたのが「コスト」と「電力」だ。ChatGPTやClaudeといった最先端の大規模言語モデル(LLM)を稼働させるには、NVIDIA H100のような高性能かつ極めて高 […]
SpecEdgeは、ユーザーのPCやスマートフォン(エッジデバイス)の計算資源をAIインフラの一部として活用するフレームワークです。投機的デコーディング技術を応用し、エッジ側でドラフト生成、サーバー側で検証を行うことで、通信遅延を克服しながらLLMの運用コストを大幅に削減し、スループットを向上させます。