事前学習

大規模言語モデルの構築における最初のフェーズ。インターネット上の膨大なテキストデータを読み込み、単語の並びや文法、知識の統計的なパターンを学習する。この段階では情報の真偽を判断するラベルが存在しないため、出現頻度の低い事実について誤ったパターンを学習し、ハルシネーションの要因となることがある。