토큰(Token)은 언어 모델이 텍스트를 읽고 쓰는 최소 단위입니다. 모델은 '글자'나 '단어'를 직접 인식하지 않으며, 먼저 텍스트를 토큰으로 분할한 뒤 이를 조회하여 정수 ID로 변환하고 신경망에 입력합니다. 분할 방식은 어휘 크기와 시퀀스 길이, 계산 비용을 직접적으로 결정합니다. 단어 단위로 분할하면 언어에 따라 어휘가 팽창하고 새로운 단어가 나타나면 '미등록 단어(OOV)' 문제가 발생하며, 문자 단위로 분할하면 시퀀스가 지나치게 길어지고 의미 단위가 너무 세분화됩니다.

'token'이라는 용어는 원래 컴파일러 이론에서 어휘 분석(Lexical Analysis)의 단위를 의미하며, 대규모 언어 모델보다 먼저 등장했습니다. 통계적 기계 번역 시대에는 이 문제를 백오프 사전과 같은 규칙으로 보완했습니다. 2015년 Sennrich, Haddow, Birch는 논문 《Neural Machine Translation of Rare Words with Subword Units》에서 바이트 쌍 인코딩(BPE) 기반의 하위 단어(subword) 분할을 체계적으로 도입했습니다. 이 방법은 일반적인 단어는 그대로 유지하고 희귀 단어는 더 작은 단위로 분할하며, 문자부터 시작해 인접한 기호 쌍의 빈도를 통계적으로 집계하고 가장 빈도가 높은 쌍을 반복적으로 병합하여 어휘 크기가 사전에 설정된 값에 도달할 때까지 진행합니다. 번역 시에는 하위 단어를 다시 조립합니다. WMT15 영어-독일어 및 영어-러시아어 작업에서 이 접근법은 백오프 사전 기반의 기본 모델보다 BLEU 점수가 각각 1.1과 1.3 향상되었으며, 하위 단어 토큰을 신경망에 적용한 중요한 대표 사례로 평가됩니다.

이후 BPE와 같은 하위 단어 접근법을 사용하는 WordPiece, SentencePiece가 대규모 언어 모델의 토크나이저 주류가 되었으며, GPT 시리즈도 BPE 계열 토크나이저를 채택하고 있습니다. 어휘 크기는 일반적으로 수만에서 수십만 사이입니다. 어휘 크기 자체는 트레이드오프의 집합입니다. 어휘가 클수록 개별 토큰이 담는 정보가 많아져 시퀀스가 짧아지지만 임베딩 행렬과 출력 계층은 커지고, 어휘가 작을수록 시퀀스는 길어지고 계산 비용은 증가합니다. 토큰 수는 API 과금, 컨텍스트 사용량, 추론 비용과 직결되므로 '동일한 문장이 몇 개의 토큰으로 분할되는가'는 엔지니어링 측면에서 정밀하게 고려해야 할 문제가 되었습니다.