Soheil Zibakhsh Mohammad Samragh Kumari Nishu Lauren Hannah Arnav Kundu Minsik Cho

초록

대규모 언어 모델(LLM)의 생성 품질은 일반적으로 추론 시점에서 시퀀스 수준의 스케일링 기법(예: 체인 오브 써Thought)을 활용함으로써 향상된다. 본 연구에서는 토큰 수준에서 예측 품질을 향상시키는 보완적인 프레임워크인 '하이퍼-병렬 스케일링(Hyper-parallel scaling)'을 제안한다. 하이퍼-병렬 스케일링은 모델로부터 단일 토큰에 대해 다수의 출력 후보를 동시에 계산하고 집계하는 방식으로 동작한다. 우리는 이 개념을 전문가 혼합(Mixture-of-Experts, MoE) 모델에 적용하였으며, 이를 '전문가 목록(Roster of Experts, RoE)'이라 명명한다. RoE는 학습 없이 작동하는 추론 알고리즘으로, 단일 MoE 모델을 동적 MoE 앙상블 구조로 변환한다. RoE는 전문가 라우팅 메커니즘에 통제된 확률적 요소를 도입하여 각 토큰에 대해 다양한 전문가들을 샘플링하고, 그 출력을 집계함으로써 보다 정확한 최종 결과를 도출한다. 계산 비용 문제를 해결하기 위해, 효율적인 배치 전략과 특화된 KV 캐싱 메커니즘을 도입하여 계산 및 메모리 오버헤드를 최소화하였다. 예를 들어, RoE를 활용하면 7B 규모의 MoE 모델이 10.5B 규모의 MoE 모델과 동등한 성능을 달성하면서도 추론 시 30% 더 적은 계산 자원을 사용할 수 있다. 이러한 성능 향상은 모델 파라미터의 미세 조정(fine-tuning) 없이도 달성된다.