Zhi Zhou Yuhao Tan Zenan Li Yuan Yao Lan-Zhe Guo Yu-Feng Li Xiaoxing Ma

초록

테스트 시 스케일링( test-time scaling)은 계산 자원을 추가함으로써 대규모 언어 모델(Large Language Models, LLMs)의 추론 성능을 향상시키는 것을 목표로 한다. 이 분야에서 널리 사용되는 접근 방식은 샘플링 기반 테스트 시 스케일링 기법으로, 추론 과정에서 주어진 입력에 대해 다수의 추론 경로를 생성함으로써 추론 능력을 향상시킨다. 그러나 실용적 성공은 이어지지만, 이에 대한 이론적 기반은 여전히 탐색이 부족한 상태이다. 본 논문에서는 샘플링 기반 테스트 시 스케일링 기법을 신뢰도 추정(Confidence Estimation)의 관점에서 분석할 수 있는 최초의 이론적 프레임워크를 제안한다. 이 프레임워크를 바탕으로, 주로 사용되는 두 가지 주요 패러다임인 '자기일관성(Self-consistency)'과 '모델의 혼란도(Perplexity)'를 분석하여, 각각의 핵심적 한계를 밝혀냈다. 즉, 자기일관성은 높은 추정 오차를 겪는 반면, 혼란도 기반 방법은 상당한 모델링 오차를 보이며, 추정 오차 수렴(convergence)의 퇴화 가능성도 존재한다. 이러한 한계를 해결하기 위해, 본 연구는 이론적 통찰을 바탕으로 두 가지 핵심 구성 요소인 '혼란도 일관성(Perplexity Consistency)'과 '추론 절단(Reasoning Pruning)'을 결합한 하이브리드 방법인 RPC(Reduced-Error Perplexity Consistency)을 제안한다. 혼란도 일관성은 자기일관성과 혼란도의 장점을 융합하여, 추정 오차의 수렴 속도를 선형에서 지수적 수렴으로 향상시키면서도 모델 오차는 유지한다. 추론 절단은 낮은 확률을 가진 추론 경로를 제거함으로써 추정 오차의 퇴화를 방지한다. 이론적 분석과 7개의 벤치마크 데이터셋을 대상으로 한 실험 결과를 통해, RPC가 추론 오차를 효과적으로 줄일 수 있는 강력한 잠재력을 보여주었다. 특히, RPC는 자기일관성 수준의 추론 성능을 달성하면서도, 신뢰도 신뢰성 향상은 물론 샘플링 비용을 50% 감소시킨다는 점에서 주목할 만하다. 코드 및 관련 자료는 https://wnjxyk.github.io/RPC 에서 확인할 수 있다.