Tokenisation

La tokenisation, également connue sous le nom d'analyse lexicale, est le processus de conversion de caractères en jetons (chaînes de caractères avec des significations d'identification associées). Le programme qui effectue l'analyse lexicale est également appelé analyseur lexical, tokeniseur ou scanner, mais scanner n'est qu'un terme pour la première étape d'un analyseur lexical. Un analyseur lexical est généralement utilisé en combinaison avec un analyseur, où l'analyseur est principalement utilisé pour analyser la syntaxe des langages de programmation, des pages Web, etc.

La tokenisation est le processus de division et de classification des parties d'une chaîne d'entrée, puis de transmission des jetons résultants à une autre forme de traitement, qui peut être considérée comme une sous-tâche de l'analyse de l'entrée.