글리치 토큰은 대규모 언어 모델이 정상적으로 작동하는 데 도움이 되어야 할 비정상적인 출력을 의미합니다. 화중과학기술대학교, 난양이공대학교 및 기타 대학이 공동으로 구성한 연구팀은 2024년에 연구 결과를 발표했습니다. 「대규모 언어 모델의 결함 토큰」이는 대규모 모델에 잘못된 단어가 포함되어 있어 모델의 출력 결과에 오류나 불일치가 발생할 수 있음을 나타냅니다. 연구팀은 잘못된 토큰을 감지하는 방법을 통해 대규모 모델에서 토크나이저 관련 오류를 줄이는 데 의미 있는 통찰력을 제공합니다. 그들은 연구를 통해 잘못된 단어가 임베딩 공간에서 클러스터링 효과를 가져온다는 사실을 발견했고, 이를 바탕으로 클러스터링 알고리즘을 사용하여 잘못된 단어를 식별하는 데 영감을 얻었습니다.

Glitch 토큰은 다음과 같은 이유로 생성될 수 있습니다.

1. 데이터 문제: 훈련 데이터의 오류, 노이즈 또는 불일치로 인해 모델이 잘못된 정보를 학습할 수 있습니다.
2. 모델 아키텍처 문제：모델 아키텍처의 결함이나 제한으로 인해 글리치 토큰이 생성될 수 있습니다.
3. 과적합: 모델이 훈련 데이터에 과도하게 적합되어 새로운 데이터에서는 성능이 저하될 수 있습니다.
4. 훈련 과정의 문제점: 예를 들어, 부적절한 학습률, 학습 라운드 수 등.
5. 데이터 증강 문제: 부적절한 데이터 증강 방법으로 인해 오류가 발생할 수 있습니다.
6. 하드웨어 오류 또는 오류: 계산 과정 중에 하드웨어 문제가 발생했을 수 있습니다.
7. 알고리즘 오류: 모델 구현의 알고리즘 오류.
8. 모델 크기 문제: 모델 크기가 너무 크거나 너무 작으면 성능에 영향을 미칠 수 있습니다.
9. 데이터 분포 왜곡: 실제 데이터의 분포는 훈련 데이터의 분포와 다릅니다.
10. 충분한 훈련 데이터가 부족합니다: 모델 학습이 충분하지 않을 수 있습니다.