계층적 주의 기반 이질적 그래프 네트워크를 이용한 신경 추출 요약

문장 수준의 추출형 텍스트 요약은 정보성 구성 요소와 간결한 표현을 따르는 네트워크 마이닝의 노드 분류 작업으로 간주될 수 있다. 추출된 문장들 사이에는 많은 중복 표현이 존재하지만, 일반적인 지도 학습 방법으로 이를 정확히 모델링하는 것은 어렵다. 이전의 문장 인코더, 특히 BERT는 원본 문장 간의 관계를 모델링하는 데 특화되어 있으나, 선택된 요약 문장들 간의 겹침(오버랩)을 고려하지 못하며, 문장의 타겟 레이블들 사이에는 본질적인 의존 관계가 존재한다. 본 논문에서는 단어와 문장과 같은 다양한 수준의 정보를 효과적으로 모델링하고, 문장 간의 중복 의존성을 강조할 수 있는 HAHSum(Hierarchical Attentive Heterogeneous Graph for Text Summarization의 약자)을 제안한다. 본 방법은 중복 인지 그래프를 반복적으로 활용하여 문장 표현을 정교화하고, 메시지 전달을 통해 레이블 간의 의존 관계를 전달한다. 대규모 벤치마크 코퍼스(CNN/DM, NYT, NEWSROOM)에서의 실험 결과, HAHSum이 획기적인 성능을 보이며 기존의 추출형 요약 기법들을 모두 능가함을 입증하였다.