추출적 및 요약적 요약을 위한 일관성 손실을 사용한 통합 모델

우리는 추출적 요약과 추상적 요약의 강점을 결합한 통합 모델을 제안합니다. 한편으로는 간단한 추출적 모델은 문장 수준의 주의를 얻어 높은 ROUGE 점수를 기록할 수 있지만, 가독성이 떨어집니다. 다른 한편으로는 복잡한 추상적 모델은 단어 수준의 동적 주의를 얻어 더 가독성 있는 단락을 생성할 수 있습니다. 우리의 모델에서는 문장 수준의 주의가 단어 수준의 주의를 조절하여, 주목받지 않은 문장에 속한 단어들이 생성될 가능성을 줄입니다. 또한, 두 수준의 주의 사이의 불일치를 처벌하기 위해 새로운 불일치 손실 함수(consistency loss function)가 도입되었습니다. 이 불일치 손실과 추출적 및 추상적 모델들의 원래 손실 함수로 우리 모델을 엔드투엔드(end-to-end)로 훈련시키면, CNN/데일리 메일 데이터셋에서 최고 수준의 ROUGE 점수를 달성하면서 가장 정보가 많고 가독성이 뛰어난 요약을 생성하는 것으로 인간 평가에서 확인되었습니다.