초록
독해 모델은 추출형 텍스트 답변에 성공적으로 적용되었지만, 이러한 모델을 추상적 수치 답변으로 일반화하는 최선의 방법은 명확하지 않습니다. 우리는 BERT 기반 독해 모델이 경량화된 수치 추론을 수행할 수 있도록 합니다. 이 모델은 간단한 산술 연산과 추출을 포함하는 사전 정의된 실행 가능한 '프로그램' 세트를 추가로 갖추게 됩니다. 모델은 직접 숫자를 조작해야 하는 대신 프로그램을 선택하고 실행할 수 있습니다. 최근 독해 모델을 도전하기 위해 설계된 문장 내에서 이산 추론(Discrete Reasoning Over Passages, DROP) 데이터셋에서, 우리는 얕은 프로그램을 추가함으로써 절대적인 33%의 개선을 보여주었습니다. Roy와 Roth(2015)가 제시한 수학 문제 상황에서 적절할 때 새로운 연산을 예측하도록 학습할 수 있으며, 이를 위해 매우 적은 훈련 예제만 필요합니다.