Le token (jeton) est la plus petite unité avec laquelle un modèle de langage lit et écrit du texte. Le modèle ne reconnaît pas directement les « caractères » ou les « mots » ; il segmente d'abord le texte en tokens, les convertit en identifiants entiers via une table de correspondance, puis les transmet au réseau de neurones. La méthode de segmentation détermine directement la taille du vocabulaire, la longueur des séquences et le coût de calcul : une segmentation par mot entier fait croître le vocabulaire avec la langue et génère des « mots hors vocabulaire » pour les termes inconnus ; une segmentation par caractère rend les séquences trop longues et les unités sémantiques trop fragmentées.

Le terme « token » désignait à l'origine l'unité d'analyse lexicale en informatique théorique, bien avant les grands modèles de langage. Ce problème était résolu à l'époque de la traduction automatique statistique grâce à des règles de repli telles que les dictionnaires de secours. En 2015, Sennrich, Haddow et Birch ont introduit systématiquement la segmentation en sous-mots basée sur l'encodage par paires de bytes (BPE) dans leur article « Neural Machine Translation of Rare Words with Subword Units » : les mots fréquents sont conservés en entier, les mots rares sont divisés en fragments plus petits ; partant des caractères, la méthode compte la fréquence des paires de symboles adjacentes, fusionne itérativement la paire la plus fréquente jusqu'à ce que le vocabulaire atteigne une taille prédéfinie, puis recolle les sous-mots lors de la traduction. Sur les tâches WMT15 anglais-allemand et anglais-russe, cette approche a amélioré les scores BLEU de 1,1 et 1,3 points respectivement par rapport aux lignes de base utilisant des dictionnaires de repli, devenant ainsi une référence majeure pour l'utilisation des tokens sous-mots dans les réseaux de neurones.

Par la suite, BPE, ainsi que WordPiece et SentencePiece, qui relèvent de la même approche par sous-mots, sont devenus les méthodes de tokenisation dominantes pour les grands modèles de langage. La série GPT utilise également des tokeniseurs de type BPE, avec des vocabulaires comptant généralement entre plusieurs dizaines et plusieurs centaines de milliers d'entrées. La taille du vocabulaire représente un ensemble de compromis : plus le vocabulaire est grand, plus chaque token porte d'information et plus les séquences sont courtes, mais plus la matrice d'embeddings et la couche de sortie sont volumineuses ; plus le vocabulaire est petit, plus les séquences sont longues et le calcul coûteux. Étant donné que le nombre de tokens influe directement sur la facturation des API, l'occupation du contexte et les coûts d'inférence, la question « combien de tokens compte une même phrase » est devenue un point crucial à optimiser avec précision dans la pratique de l'ingénierie.

[JIALIU_0]