초록

"딥 리이징(Deep Reasoning) 패러다임은 수학과 같은 검증 가능한 분야에서 큰 진전을 이끌어냈지만, 개방형이고 창의적인 생성 작업에 적용하는 데는 여전히 핵심적인 과제가 남아 있다. 이 분야에서 주로 사용되는 두 가지 주요 접근법—강화학습(RL)과 지시 분해(instruction distillation)—은 한계를 드러낸다. 강화학습은 명확한 보상 신호와 고품질의 보상 모델이 부족할 경우 성능이 저하되며, 분해 기법은 비용이 막대하고 교사 모델의 능력에 의해 제한된다. 이러한 한계를 극복하기 위해 우리는 새로운 패러다임인 역설계된 사고(REverse-Engineered Reasoning, REER)를 제안한다. 이는 시도-오류나 모방을 통해 사고 과정을 '앞으로' 구성하는 기존 방식과 달리, 이미 검증된 우수한 해답에서 출발하여, 그 결과를 만들어낼 수 있었던 잠재적이고 단계적인 심층적 사고 과정을 계산적으로 탐색하는 '뒤로' 접근 방식을 취한다. 이 확장 가능하고 기울기(gradient)-기반 없는 방법을 통해, 우리는 개방형 과제를 위한 2만 개의 심층적 사고 경로를 포함하는 대규모 데이터셋인 DeepWriting-20K를 구축하고 공개한다. 이 데이터셋으로 훈련된 모델인 DeepWriter-8B는 강력한 오픈소스 기준 모델을 능가할 뿐만 아니라, GPT-4o, Claude 3.5와 같은 선도적인 프로피리에타리 모델과 비교해도 경쟁력 있는 성능을 발휘하며, 때로는 그들을 넘어서는 결과를 달성한다.