사전 훈련된 Transformer를 활용한 문장 추출 요약에서 중첩 트리 구조 고려하기

문장 추출 요약은 문서의 중요한 내용을 유지하면서 요약을 위해 문장을 선택함으로써 문서를 단축하는 기법이다. 그러나 사전 훈련된 BERT 기반 인코더는 문서 내 문장의 정보를 명시적으로 표현하도록 훈련되지 않았기 때문에, 일관성 있고 정보가 풍부한 요약을 구성하는 것은 어려운 과제이다. 본 연구에서는 RoBERTa 기반의 중첩 트리 기반 추출 요약 모델인 NeRoBERTa를 제안한다. 이 모델은 주어진 문서 내 문법적 구조와 담론적 구조를 포함하는 중첩 트리 구조를 활용한다. CNN/DailyMail 데이터셋을 대상으로 수행한 실험 결과, NeRoBERTa는 ROUGE 지표에서 기준 모델들을 상회함을 확인하였다. 또한 인간 평가 결과에서도 NeRoBERTa는 일관성 측면에서 기준 모델들보다 유의미하게 높은 점수를 기록하였으며, 최신 기술 수준의 모델들과 비교해도 유사한 성능을 보였다.