토큰화는 어휘 분석이라고도 하며, 문자를 토큰(연관된 식별 의미가 있는 문자열)으로 변환하는 과정입니다. 어휘 분석을 수행하는 프로그램은 어휘 분석기, 토크나이저 또는 스캐너라고도 불리지만, 스캐너는 어휘 분석기의 첫 번째 단계를 지칭하는 용어일 뿐입니다. 어휘 분석기는 일반적으로 파서와 함께 사용되며, 파서는 주로 프로그래밍 언어, 웹 페이지 등의 구문을 분석하는 데 사용됩니다.

토큰화는 입력 문자열의 일부를 나누고 분류한 다음, 그 결과 토큰을 다른 형태의 처리로 전달하는 과정으로, 이는 입력 구문 분석의 하위 작업으로 간주될 수 있습니다.