Yuxi Li Yi Liu Gelei Deng Ying Zhang Wenjia Song et al

초록

대규모 언어 모델(Large Language Models, LLMs)이 다양한 분야에 확대 적용되면서, 이러한 모델이 나타내는 예측할 수 없는 행동과 그로 인한 결과를 종합적으로 탐구하는 것이 절실한 과제가 되고 있다. 본 연구에서는 기존 토크나이저에 의해 생성되는 이상한 토큰인 '글리치 토큰(glitch tokens)'이라는 현상을 도입하고 체계적으로 탐구한다. 이 글리치 토큰은 모델의 응답 품질에 악영향을 미칠 수 있는 이상한 토큰으로, 기존의 토크나이저에서 발생할 수 있다. 구체적으로, 세 가지 서로 다른 토크나이저를 활용하여 상위 7개의 인기 LLM에 실험을 수행하였으며, 총 182,517개의 토큰을 분석하였다. 우리는 식별된 글리치 토큰을 분류하고, LLM이 글리치 토큰과 상호작용할 때 나타내는 다양한 증상들을 제시한다. 글리치 토큰이 임베딩 공간에서 군집화되는 경향이 있음을 관찰한 바, 효율적인 글리치 토큰 탐지를 위한 새로운 반복적 클러스터링 기반 기법인 GlitchHunter을 제안한다. 평가 결과, 제안한 방법은 8개의 오픈소스 LLM에 대해 세 가지 기준 방법보다 뚜렷하게 우수한 성능을 보였다. 본 연구는 글리치 토큰에 관한 최초의 종합적인 연구로, 우리에게 최고의 지식이다. 또한 본 연구에서 제안하는 새로운 탐지 기법은 LLM의 토크나이제이션 관련 오류를 완화하는 데 있어 귀중한 통찰을 제공한다.