Command Palette
Search for a command to run...
{BoWen Zhou Xiaodong He Youzheng Wu Yujia Wang Peng Yuan Song Xu Haoran Li}

초록
복사 기법은 추상적 요약(abstractive summarization) 분야에서 상당한 성공을 거두었으며, 모델이 입력 텍스트에서 단어를 직접 출력 요약문으로 복사할 수 있도록 지원한다. 기존의 연구들은 주로 인코더-디코더 어텐션을 활용하여 각 시간 단계에서 이전 상태에 독립적으로 복사를 수행한다. 그러나 이러한 방식은 때때로 복사가 완전하지 못하게 되는 문제가 있다. 본 논문에서는 기존 복사 기법을 보완하기 위해 복사 이력을 지속적으로 추적하는 새로운 복사 방식인 상관 복사 네트워크(Correlational Copying Network, CoCoNet)를 제안한다. CoCoNet은 이전에 복사된 단어와 관련된 입력 단어를 각 시간 단계에서 명시적으로 복사하도록 모델을 유도함으로써 과거 복사 분포의 정보를 활용한다. 또한, 복사 행동을 모사하는 적절한 코퍼스를 활용한 사전 학습을 통해 CoCoNet의 성능을 더욱 강화한다. 실험 결과, CoCoNet은 더 정확한 복사를 수행하며, 뉴스 요약에 사용되는 CNN/DailyMail 및 대화 요약에 사용되는 SAMSum을 포함한 여러 요약 벤치마크에서 최신의 최고 성능을 달성하였다. 코드 및 체크포인트는 공개될 예정이다.
벤치마크
| 벤치마크 | 방법론 | 지표 |
|---|---|---|
| abstractive-text-summarization-on-cnn-daily | CoCoNet + CoCoPretrain | ROUGE-1: 44.50 ROUGE-2: 21.55 ROUGE-L: 41.24 |
| abstractive-text-summarization-on-cnn-daily | CoCoNet | ROUGE-1: 44.39 ROUGE-2: 21.41 ROUGE-L: 41.05 |