ReasonBERT: 원거리 감독을 통해 추론하기 위해 사전 훈련한 모델

우리는 장거리 관계와 여러 가지 가능성이 있는 하이브리드 문맥 위에서 추론할 수 있는 능력을 언어 모델에 부여하는 사전 훈련 방법인 ReasonBert를 제안한다. 기존의 사전 훈련 방법이 자연 발생 텍스트의 국소적 맥락에서만 학습 신호를 추출하는 데 그친 반면, 우리는 다양한 텍스트 및 표의 조각들을 자동으로 연결함으로써 장거리 추론을 필요로 하는 사전 훈련 예제를 생성하는 일반화된 원거리 감독(generalized notion of distant supervision)을 제안한다. 이 과정에서 교차 증거 분석, 한 증거에서 다른 증거로 연결하는 추론, 그리고 답변 불가능한 경우를 탐지하는 다양한 유형의 추론을 시뮬레이션한다. 단일 훑기(single-hop)부터 다중 훑기(multi-hop)까지, 텍스트 중심에서 표 중심, 하이브리드 형식에 이르기까지 다양한 추출형 질문 응답 데이터셋을 대상으로 포괄적인 평가를 수행한 결과, ReasonBert는 다양한 강력한 기준 모델들에 비해 뛰어난 성능 향상을 보였다. 소수 샘플(few-shot) 실험을 통해 본 사전 훈련 방법이 샘플 효율성에 크게 기여함을 추가로 입증하였다.