프로그램 실행자처럼 추론하기

자연어에 대한 추론은 연구계가 오랫동안 추구해온 목표이다. 그러나 기존 연구들은 기존 언어 모델이 추론 능력에서 부족함을 드러내고 있음을 보여주었다. 이러한 문제를 해결하기 위해 우리는 POET라는 새로운 추론 사전 훈련 프레임워크를 제안한다. 프로그램과 그 실행 결과를 활용하여 언어 모델을 사전 훈련함으로써, POET는 데이터 기반 접근법을 통해 프로그램 실행자(Executor)가 보유한 추론 지식을 언어 모델이 학습하도록 한다. POET는 개념적으로 간단하며, 다양한 종류의 프로그램 실행자로 구현될 수 있다. 본 논문에서는 복잡한 POET-SQL 외에도 POET-Math와 POET-Logic이라는 두 가지 간단한 사례를 제시한다. 6개의 벤치마크에서의 실험 결과는 POET가 수치 추론, 논리 추론, 다단계 추론과 같은 자연어 추론 능력에서 모델 성능을 크게 향상시킬 수 있음을 입증한다. POET는 추론 강화를 위한 사전 훈련의 새로운 길을 열었으며, 본 연구의 분석이 프로그램 실행자와 같은 방식의 추론 연구에 미래의 방향성을 제시하기를 기대한다.