MWP-BERT: 수치 능력 강화를 위한 수학 문제 해결을 위한 사전 학습

수학 문제 해결(MWP)는 수치 표현 학습 측면에서 딜레마에 직면해 있다. 실수를 피하고 타당한 해의 탐색 공간을 줄이기 위해 기존의 MWP 해결 기법들은 일반적으로 논리 추론에 집중하기 위해 실제 수치를 기호적 플레이스홀더로 대체한다. 그러나 프로그램 합성이나 지식 그래프 추론과 같은 일반적인 기호 추론 작업과 달리, MWP 해결은 수치 추론 측면에서 추가적인 요구 조건을 갖는다. 즉, 수치의 값 자체보다는 그 수치가 가지는 재사용 가능한 수치적 성질이 더 중요하다는 것이다. 따라서 본 연구에서는 맥락 기반 표현 학습 기법을 활용해 수치적 성질을 기호적 플레이스홀더에 통합함으로써, 수치 표현 문제의 딜레마를 극복할 수 있는 새로운 접근 방식을 제안한다. 본 연구에서는 이 아이디어를 대표적인 사전 훈련 언어 모델(PLM) 기술에 적용하여, 효과적인 맥락 기반 수치 표현을 갖춘 MWP-BERT 모델을 구축하였다. 제안한 MWP-BERT의 효과성은 영어 및 중국어 기준 데이터셋을 대상으로 한 MWP 해결 및 여러 MWP 특화 이해 과제에서 입증되었다.