トークン化

字句解析とも呼ばれるトークン化は、文字をトークン (関連する識別意味を持つ文字列) に変換するプロセスです。字句解析を実行するプログラムは字句アナライザー、トークナイザー、またはスキャナーとも呼ばれますが、スキャナーは字句アナライザーの最初の段階を表す用語にすぎません。字句アナライザーは通常、パーサーと組み合わせて使用されます。主に使用されるプログラミング言語やWebページなどの文法を解析します。

トークン化は、入力文字列の一部を分割して分類し、結果のトークンを他の形式の処理に渡すプロセスであり、入力の解析のサブタスクと考えることができます。