
テクノロジー
ChatGPTの10倍の速度を実現する「Mercury」をInception Labsが発表
米スタンフォード大学教授Stefano Ermonらが設立したInception Labsは、従来の大規模言語モデル(LLM)より最大10倍高速なテキスト生成が可能な拡散型LLM「Mercury」を発表した。同社の最初の […]
別名: Autoregression
時系列データやテキスト生成において、過去の自身の出力を次のステップの入力として利用し、1要素ずつ順番に予測を行う方式です。GPT-4などの主要な大規模言語モデル(LLM)で採用されており、文脈の整合性を保つのに適していますが、1トークンずつ逐次処理を行う必要があるため、長い文章の生成には計算コストと時間がかかるという制約があります。