초록
최근 신경망 아키텍처와 학습 알고리즘의 발전은 표현 학습의 효과성을 입증하였습니다. 신경망 기반 모델은 전통적인 모델보다 더 우수한 표현을 생성합니다. 이들 모델은 문장과 문서에 대한 분산 표현을 자동으로 학습할 수 있는 능력을 가지고 있습니다. 이를 위해 우리는 이전에 제안된 모델들이 충분히 모델링하지 못한 몇 가지 문제, 예를 들어 메모리 문제와 문서 구조 지식 통합 등을 해결하는 새로운 모델을 제안하였습니다. 우리의 모델은 계층적 구조의 자기 주의 메커니즘을 사용하여 문장 및 문서 임베딩을 생성합니다. 이러한 아키텍처는 문서의 계층적 구조를 반영하며, 그 결과 더 나은 특징 표현을 얻을 수 있게 합니다. 주의 메커니즘은 요약 추출을 안내하는 추가 정보 원천을 제공합니다. 새로운 모델은 요약 작업을 문장-요약 소속 확률을 계산하는 분류 문제로 다루었습니다. 모델의 예측은 정보량, 중요성, 신선도 및 위치 표현 등의 여러 특징으로 나뉩니다. 제안된 모델은 잘 알려진 두 데이터셋인 CNN/Daily Mail과 DUC 2002에서 평가되었습니다. 실험 결과는 우리의 모델이 현재 추출형 최신 기술보다 상당한 마진으로 우수함을 보여주었습니다.