초록
트랜스포머 기반 언어 모델은 일반적으로 텍스트를 선형 시퀀스로 처리합니다. 그러나 대부분의 텍스트는 본질적으로 계층적 구조를 가지고 있으며, 이 계층에서의 위치를 통해 텍스트의 일부를 식별할 수 있습니다. 또한, 섹션 제목은 해당 문장들의 공통 주제를 나타내는 경향이 있습니다. 우리는 사전 학습된 인코더만 있는 트랜스포머 언어 모델을 기반으로, 계층적 구조 정보를 명시적으로 추출, 인코딩 및 주입하는 새로운 접근 방식을 제안합니다(히스트럭트+ 모델). 이 방법은 PubMed와 arXiv에서 추출 요약에 대한 최신 기술(SOTA) ROUGE 점수를 크게 개선하였습니다. 세 가지 데이터셋(CNN/DailyMail, PubMed, arXiv)에서 다양한 실험 설정을 사용하여, 우리의 히스트럭트+ 모델은 계층적 구조 정보가 주입되지 않은 유일한 차이점을 가진 강력한 베이스라인을 전반적으로 능가하였습니다. 또한 데이터셋의 계층적 구조가 더 두드러질수록 우리의 방법이 더 큰 개선 효과를 보이는 것으로 관찰되었습니다. 생략 연구(ablation study)는 계층적 위치 정보가 우리 모델의 SOTA 성능에 가장 큰 기여를 하는 것으로 입증되었습니다.