문장 수준의 목표를 활용한 전훈련 Transformer 모델을 통한 답변 문장 선택

질문-응답(QA) 시스템 설계에서 중요한 과제 중 하나는 답변 문장 선택(AS2)이다. AS2는 검색된 관련 문서들 중 질문에 대한 답변을 포함하거나 구성하는 문장을 선택하는 작업이다. 본 논문에서는 문장 수준의 트랜스포머 사전학습 목표를 세 가지 제안함으로써, 문서 내 및 문서 간의 단락 수준 의미를 통합하여 트랜스포머 모델의 AS2 성능을 향상시키고, 대규모 레이블 데이터셋의 필요성을 줄이는 것을 목적으로 한다. 구체적으로, 모델은 다음 세 가지를 예측하도록 훈련된다: (i) 두 문장이 동일한 단락에서 추출되었는지 여부, (ii) 주어진 문장이 주어진 단락에서 추출되었는지 여부, (iii) 두 단락이 동일한 문서에서 추출되었는지 여부. 공개 및 산업용 AS2 데이터셋 총 네 개에 대한 실험 결과, 제안한 사전학습된 트랜스포머 모델이 RoBERTa 및 ELECTRA와 같은 기준 모델에 비해 실증적으로 우수한 성능을 보였다.