HyperAI초신경

대기, 우리는 "대기"할 필요가 없습니다! 사고 토큰 제거가 추론 효율성을 개선합니다.

Wang, Chenlong ; Feng, Yuanning ; Chen, Dongping ; Chu, Zhaoyang ; Krishna, Ranjay ; Zhou, Tianyi
발행일: 6/17/2025
대기, 우리는 "대기"할 필요가 없습니다! 사고 토큰 제거가 추론 효율성을 개선합니다.
초록

최근 대형 추론 모델의 발전으로 복잡한 단계별 추론이 가능해졌지만, 종종 과도한 고민을 초래하여 효율성을 저해하는 긴하고 중복된 출력을 생성합니다. 본 연구에서는 "Wait"와 "Hmm" 등의 토큰으로 표시되는 명시적 자기 반성이 고급 추론에 필수적인지 검토하였습니다. 우리는 이러한 토큰을 추론 과정에서 억제하여 명시적 자기 반성을 비활성화시키는 간단하면서도 효과적인 접근 방식인 NoWait를 제안합니다. 텍스트, 시각, 동영상 추론 작업을 포함하는 10개 벤치마크에서 수행한 광범위한 실험 결과, NoWait가 다섯 개의 R1 스타일 모델 시리즈에서 사고 경로 궤도 길이를 최대 27-51% 감소시키면서 모델의 유용성을 저하시키지 않는 것으로 나타났습니다. 따라서 NoWait는 효율적이면서 유용성을 유지하는 다중 모달 추론에 대한 플러그 앤 플레이 솔루션을 제공합니다.