トークン

トークンは、自然言語処理モデルがデータを処理する際の最小単位です。単語、文字の一部、あるいは画像やビデオの断片などがトークンとして扱われます。モデルの処理能力や制限は、通常このトークン数で定義されます。