潜在空間

潜在空間（latent space）とは、ニューラルネットワークなどの機械学習モデルにおいて、入力データが圧縮・抽象化され、数値ベクトルとして表現される多次元空間のことである。大規模言語モデル（LLM）では、テキストデータがトークン化され、埋め込み（embedding）と呼ばれるベクトルに変換された後、この潜在空間内で数学的な演算が行われる。モデルの各層を通過するごとに情報はより高度な抽象概念へと変換され、最終的な出力の生成に利用される。従来のLLMは推論過程を言語（トークン）として出力するが、潜在空間内で直接推論を完結させる手法は、情報の損失を防ぎ、計算効率を向上させる可能性を秘めている。