Kaiyan Zhang Yuxin Zuo Bingxiang He Youbang Sun Runze Liu et al

초록

본 논문에서는 대규모 언어 모델(Large Language Models, LLMs)과 함께 추론을 수행하기 위한 강화학습(Reinforcement Learning, RL) 분야의 최신 발전을 종합적으로 조망한다. RL은 수학 및 프로그래밍과 같은 복잡한 논리적 과제를 해결하는 데 있어 뛰어난 성과를 거두며, LLM의 능력 한계를 지속적으로 확장하는 데 기여하였다. 그 결과, RL은 LLM을 추론 전문 모델(Logic Reasoning Models, LRM)으로 전환하는 핵심적인 방법론으로 부상하고 있다. 최근 급속한 기술 발전에 따라, LRM을 위한 RL의 추가 확장은 계산 자원뿐 아니라 알고리즘 설계, 학습 데이터, 인프라 구축 등 다양한 기초적 도전 과제에 직면하고 있다. 이러한 맥락에서 본 분야의 발전 과정을 재점검하고, 그 발전 방향을 재평가하며, 인공초지능(Artificial SuperIntelligence, ASI)으로의 확장 가능성을 높이기 위한 전략을 탐색하는 것이 시급하다. 특히, DeepSeek-R1 발표 이후 LLM 및 LRM의 추론 능력 향상을 위한 RL 연구를 중심으로, 기반 구성 요소, 핵심 문제, 학습 자원, 후속 응용 사례 등을 분석함으로써, 이 빠르게 진화하는 분야의 미래 기회와 연구 방향을 도출하고자 한다. 본 리뷰가 보다 포괄적인 추론 모델을 위한 강화학습 연구의 발전에 기여하기를 기대한다.