テクノロジー
PCとスマホが「AIデータセンター」に変わる日:新技術「SpecEdge」がLLMの運用コストを7割も削減可能に
生成AI革命の裏側で、大きく問題視されるようになってきたのが「コスト」と「電力」だ。ChatGPTやClaudeといった最先端の大規模言語モデル(LLM)を稼働させるには、NVIDIA H100のような高性能かつ極めて高 […]
別名: 遅延, Latency, 応答遅延, レイテンシ
ネットワーク通信において、データが送信元から送信先に到達し、応答が戻ってくるまでにかかる時間のこと。物理的な距離、ネットワーク機器の処理性能、経路の混雑状況などに影響される。クラウドサービスやオンラインゲーム、リアルタイムの金融取引などでは、このレイテンシの低減が極めて重要視される。
生成AI革命の裏側で、大きく問題視されるようになってきたのが「コスト」と「電力」だ。ChatGPTやClaudeといった最先端の大規模言語モデル(LLM)を稼働させるには、NVIDIA H100のような高性能かつ極めて高 […]
週末にかけて、世界中のクラウドコンピューティング利用者、特に南アジアから中東にかけての企業や個人が、インターネットの奇妙な「重さ」を感じていたかもしれない。その原因は、紅海の水底にあった。我々のデジタル社会を支える不可視 […]