トークン（Token）は、言語モデルがテキストを読み書きする際の最小単位です。モデルは「文字」や「単語」を直接認識するのではなく、まずテキストをトークンに分割し、それを整数IDに変換してからニューラルネットワークに入力します。分割方法は、語彙表のサイズ、シーケンス長、計算コストを直接決定します。単語単位で分割すると、言語ごとに語彙表が膨張し、未知語が発生します。文字単位で分割すると、シーケンスが長くなりすぎて、意味の単位が細かすぎます。

「トークン」という用語は、もともと大規模モデル以前から存在する、コンパイラ原理における字句解析の単位です。この問題は、統計的機械翻訳の時代には、フォールバック辞書などのルールによって補完されていました。2015年、Sennrich、Haddow、Birchは論文《Neural Machine Translation of Rare Words with Subword Units》において、バイトペアエンコーディング（BPE）に基づくサブワード分割を体系的に導入しました。一般的な単語はそのまま保持し、稀な単語はより小さな断片に分割します。文字から始まり、隣接するシンボルペアの頻度を統計的に集計し、最も頻度の高いペアを繰り返しマージして、語彙表が事前に設定されたサイズになるまで進めます。翻訳時には、サブワードを再び結合します。WMT15の英独および英露タスクにおいて、この手法はフォールバック辞書を用いたベースラインと比較して、それぞれ1.1および1.3 BLEUポイント向上し、ニューラルネットワークへのサブワードトークンの適用を示す代表的な研究となりました。

その後、BPEおよび同じサブワードアプローチに属するWordPiece、SentencePieceが大規模モデルのトークナイザーの主流となり、GPTシリーズもBPE系のトークナイザーを採用しています。語彙表のサイズは通常、数万から十数万の間です。語彙表のサイズ自体はトレードオフの集合です。語彙表が大きいほど、1つのトークンが担う情報量は増え、シーケンスは短くなりますが、埋め込み行列と出力層も大きくなります。語彙表が小さいほど、シーケンスは長くなり、計算コストは高くなります。トークン数はAPI課金、コンテキスト占有、推論コストに直接関係するため、「同じ文がいくつのトークンに分割されるか」は、エンジニアリングにおいて慎重に最適化する必要がある課題となっています。