Tokens sind die kleinste Einheit, mit der Sprachmodelle Text lesen und schreiben. Das Modell erkennt „Zeichen“ oder „Wörter“ nicht direkt, sondern zerlegt den Text zunächst in Tokens, ordnet diesen über eine Tabelle ganzzahlige IDs zu und führt sie dann in ein neuronales Netzwerk ein. Die Methode der Zerlegung bestimmt direkt die Größe des Vokabulars, die Sequenzlänge und die Rechenkosten: Eine Zerlegung in ganze Wörter lässt das Vokabular mit der Sprache wachsen, und unbekannte Wörter führen zu „Out-of-Vocabulary“-Problemen; eine Zerlegung in einzelne Zeichen führt zu zu langen Sequenzen und zu fragmentierten semantischen Einheiten.

Der Begriff „Token“ stammt ursprünglich aus der lexikalischen Analyse in der Compilerbau-Theorie und ist älter als große Sprachmodelle. Dieses Problem wurde in der Ära der statistischen maschinellen Übersetzung durch Regeln wie Fallback-Wörterbücher gelöst. Im Jahr 2015 führten Sennrich, Haddow und Birch in ihrem Paper 《Neural Machine Translation of Rare Words with Subword Units》 systematisch eine auf Byte-Pair Encoding (BPE) basierende Subword-Zerlegung ein: Häufige Wörter bleiben als Ganzes erhalten, seltene Wörter werden in kleinere Fragmente aufgeteilt. Der Prozess beginnt bei den einzelnen Zeichen, zählt die Häufigkeit benachbarter Symbolpaare und führt wiederholt die Fusion des häufigsten Paares durch, bis das Vokabular die vordefinierte Größe erreicht. Bei der Übersetzung werden die Subwords wieder zusammengesetzt. Bei den WMT15-Aufgaben für Englisch-Deutsch und Englisch-Russisch verbesserte dieser Ansatz die BLEU-Scores im Vergleich zur Baseline mit Fallback-Wörterbüchern um 1,1 bzw. 1,3 Punkte und wurde zu einer wichtigen repräsentativen Arbeit für die Verwendung von Subword-Tokens in neuronalen Netzen.

Danach wurden BPE sowie die verwandten Subword-Ansätze WordPiece und SentencePiece zu den gängigen Tokenizern für große Modelle. Auch die GPT-Serie verwendet BPE-ähnliche Tokenizer, deren Vokabulargröße typischerweise zwischen mehreren zehntausend und mehreren hunderttausend Einträgen liegt. Die Vokabulargröße selbst stellt einen Zielkonflikt dar: Ein größeres Vokabular bedeutet, dass ein einzelnes Token mehr Informationen trägt und die Sequenzen kürzer werden, aber die Einbettungsmatrix und die Ausgabeschicht werden größer; ein kleineres Vokabular führt zu längeren Sequenzen und höheren Rechenkosten. Da die Anzahl der Tokens direkt die API-Abrechnung, den Kontextverbrauch und die Inferenzkosten beeinflusst, ist die Frage „Wie viele Tokens werden aus einem bestimmten Satz gebildet?“ eine ingenieurtechnische Frage, die sorgfältig optimiert werden muss.