초록
오늘날 사전 훈련된 언어 모델은 질문 생성(QG) 작업에서 큰 성공을 거두며 기존의 시퀀스-투-시퀀스 접근법을 크게 능가하고 있다. 그러나 사전 훈련된 모델들은 입력된 문장을 평면적 시퀀스로 취급하기 때문에 입력 문장의 텍스트 구조에 대한 인식이 부족하다. QG 작업에서 우리는 텍스트 구조를 답변 위치와 문법적 의존성으로 모델링하고, 이러한 한계를 보완하기 위해 답변 국소성 모델링과 문법 마스크 어텐션을 제안한다. 특히, 답변 주변의 문맥에 주목할 수 있도록 가우시안 편향을 도입한 국소성 모델링을 제안하며, 입력 문장의 문법 구조가 질문 생성 과정에서 활용될 수 있도록 마스크 어텐션 메커니즘을 제안한다. SQuAD 데이터셋에 대한 실험 결과, 제안하는 두 가지 모듈이 강력한 사전 훈련 모델인 ProphetNet보다 성능을 향상시키며, 이 두 모듈을 결합하면 최신 사전 훈련 모델과 경쟁 가능한 결과를 달성함을 확인하였다.