MemSum: 다단계 에피소드 마르코프 결정 과정을 사용한 긴 문서의 추출 요약

우리는 MemSum (다단계 에피소딕 마르코프 결정 과정 추출 요약기, Multi-step Episodic Markov decision process extractive SUMmarizer)을 소개합니다. 이는 각 단계에서 현재 추출 역사에 대한 정보를 포함하여 강화 학습 기반의 추출 요약기를 향상시킨 것입니다. MemSum이 반복적으로 문장을 요약에 선택할 때, 인간이 이 작업에서 직관적으로 사용할 것 같은 광범위한 정보 집합을 고려합니다: 1) 문장의 본문 내용, 2) 문서 나머지 부분의 전반적인 본문 맥락, 그리고 3) 이미 추출된 문장들의 집합으로 구성된 추출 역사입니다. 경량 아키텍처를 통해 MemSum은 PubMed, arXiv, 및 GovReport에서 가져온 긴 문서를 요약하는 데 있어 최신 수준의 테스트 세트 성능(ROUGE)을 달성하였습니다. 생략 연구(ablation studies)는 지역적, 전역적, 그리고 역사 정보의 중요성을 입증하였습니다. 인간 평가는 생성된 요약의 높은 품질과 낮은 중복성을 확인하였으며, 이는 MemSum이 추출 역사를 인식함으로써 비롯되었습니다.