Heecheol Yun Kwangmin Ki Junghyun Lee Eunho Yang

초록

대규모 언어 모델(LLM)의 앙상블은 개별 모델의 성능을 뛰어넘기 위해 서로 보완적인 강점을 활용하는 유망한 접근법으로 주목받고 있다. 특히, 모델들이 예측하는 다음 토큰의 확률 분포를 종합하여 다음 토큰을 선택하는 방식은 다양한 작업에서 효과가 입증된 바 있다. 그러나 이 기법은 짧은 형식의 응답에선 성공적이지만, 긴 형식의 텍스트 생성에 적용하는 데는 여전히 탐색이 부족한 상태이다. 본 논문에서는 긴 형식의 생성 과정에서 기존 앙상블 기법을 사용할 경우, 표준적으로 모든 토큰에서 앙상블을 수행하는 것보다는 앙상블 위치를 신중히 선택해야 함을 보여준다. 이는 일반적인 토큰 단위 앙상블이 성능을 저하시킬 수 있음을 시사한다. 이러한 위치를 결정하는 데 있어 두 가지 핵심 요인을 식별하였다. 첫째, 모델 간 토큰화 불일치, 둘째, 다음 토큰 확률 분포에 대한 일치성(공동의견)이다. 이 두 요인을 종합적으로 고려하여, 선택적 앙상블을 수행하는 SAFE(Stable And Fast LLM Ensembling) 프레임워크를 제안한다. 또한 안정성을 더욱 높이기 위해, 동일한 단어를 여러 하위 토큰으로 나누어 표현한 확률을 하나의 대표 토큰으로 통합하는 확률 날카롭게 다듬기(Probability Sharpening) 전략을 도입한다. MATH500과 BBH를 포함한 다양한 벤치마크에서 수행한 실험 결과, SAFE는 정확도와 효율성 측면에서 기존 방법을 모두 상회하며, 전체 토큰의 1% 미만에서도 앙상블을 수행함으로써 성능 향상을 달성함을 입증하였다.