초록
이 논문은 BART 모델 내에서 문서의 계층적 구조(즉, 문장-단어 구조)를 효과적으로 포착할 수 있도록 설계된 새로운 추상적 문서 요약 모델인 계층적 BART(Hie-BART)을 제안한다. 기존의 BART 모델은 문서 요약 작업에서 최고의 성능을 달성하고 있으나, 문장 수준 정보와 단어 수준 정보 간의 상호작용을 모델링하지 못한다는 한계를 지닌다. 기계 번역 작업에서는 다중 해상도 자기주의(MG-SA)를 도입함으로써 단어와 구문 간의 관계를 효과적으로 포착함으로써 신경 기계 번역 모델의 성능이 향상된 바 있다. 이전 연구에 영감을 받아, 제안하는 Hie-BART 모델은 BART 모델의 인코더에 MG-SA를 통합하여 문장-단어 구조를 효과적으로 학습하도록 설계하였다. CNN/Daily Mail 데이터셋에서의 평가 결과, 제안된 Hie-BART 모델은 일부 강력한 기준 모델들을 능가하며, 비계층적 BART 모델 대비 ROUGE-L 점수에서 +0.23의 성능 향상을 달성하였다.