요약 역사에서 복사하기를 배우기: 추상적 요약을 위한 상관 복사 네트워크

복사 기법은 추상적 요약(abstractive summarization) 분야에서 상당한 성공을 거두었으며, 모델이 입력 텍스트에서 단어를 직접 출력 요약문으로 복사할 수 있도록 지원한다. 기존의 연구들은 주로 인코더-디코더 어텐션을 활용하여 각 시간 단계에서 이전 상태에 독립적으로 복사를 수행한다. 그러나 이러한 방식은 때때로 복사가 완전하지 못하게 되는 문제가 있다. 본 논문에서는 기존 복사 기법을 보완하기 위해 복사 이력을 지속적으로 추적하는 새로운 복사 방식인 상관 복사 네트워크(Correlational Copying Network, CoCoNet)를 제안한다. CoCoNet은 이전에 복사된 단어와 관련된 입력 단어를 각 시간 단계에서 명시적으로 복사하도록 모델을 유도함으로써 과거 복사 분포의 정보를 활용한다. 또한, 복사 행동을 모사하는 적절한 코퍼스를 활용한 사전 학습을 통해 CoCoNet의 성능을 더욱 강화한다. 실험 결과, CoCoNet은 더 정확한 복사를 수행하며, 뉴스 요약에 사용되는 CNN/DailyMail 및 대화 요약에 사용되는 SAMSum을 포함한 여러 요약 벤치마크에서 최신의 최고 성능을 달성하였다. 코드 및 체크포인트는 공개될 예정이다.