LayerCake: 대형 언어 모델 계층 내에서 토큰 인식 대조 해독

대형 언어 모델(LLMs)은 자연어 이해와 생성에 뛰어나지만 사실 오류에 여전히 취약하여 지식 집약적인 작업에서 신뢰성이 제한됩니다. 디코딩 시 전략들은 훈련 없이 효율적인 해결책을 제공하지만, 기존 방법들은 일반적으로 토큰 수준과 층 수준의 신호를 분리하여 처리하여 이들 사이의 상호 작용을 간과하고 있습니다. 본 연구에서는 특정 토큰 유형을 가장 영향력 있는 트랜스포머 층과 일치시키기 위해 토큰 인식, 층 국지화된 대조적 디코딩 방법을 소개합니다. 경험적 주의 분석을 통해 두 가지 핵심 패턴을 식별하였습니다: 구두점 토큰은 초기 층에서 주도적인 주의를 받는 반면, 개념적 토큰은 중간 층에서 의미론적 추론을 담당합니다. 이러한 토큰 유형들의 각각의 깊이에서 주의를 선택적으로 억제함으로써 제어된 사실성 저하를 유도하고 최종적인 사실성 디코딩을 안내하기 위한 대조 신호를 도출할 수 있었습니다. 우리의 방법은 추가적인 훈련이나 모델 수정이 필요하지 않으며, 실험 결과는 여러 LLMs와 다양한 벤치마크에서 우리의 방법이 일관되게 사실성을 개선한다는 것을 입증하였습니다.