컨텍스트 인지형 트랜스포머 사전 훈련을 통한 답변 문장 선택

질문-답변 파이프라인을 정확하게 구축하기 위한 핵심 요소인 답변 문장 선택(Answer Sentence Selection, AS2)은 주어진 질문에 대해 후보 문장들의 답변 가능성에 따라 그들을 순위 매기는 모델이다. 최신 AS2 기술은 대규모 주석 데이터셋에 대해 사전 훈련된 트랜스포머 모델을 전이 학습시키며, 후보 문장 주변의 로컬 컨텍스트 정보를 활용한다. 본 논문에서는 컨텍스트 기반 AS2의 다운스트림 훈련 작업을 모방하도록 설계된 세 가지 사전 훈련 목표를 제안한다. 이를 통해 컨텍스트 기반 AS2에 맞춰 언어 모델(LMs)의 특화가 가능해진다. 공개된 세 개의 데이터셋과 대규모 산업용 데이터셋 두 개에서 수행한 실험 결과, RoBERTa와 ELECTRA에 적용한 본 연구의 사전 훈련 방법이 일부 데이터셋에서 기준 모델의 컨텍스트 기반 AS2 정확도를 최대 8%까지 향상시킬 수 있음을 확인하였다.