초록
좋은 신경망 시퀀스-투-시퀀스 요약 모델은 긴 입력 텍스트에서 중요한 정보를 추출하고 기억할 수 있는 강력한 인코더를 가져야 합니다. 이렇게 하면 디코더가 인코더의 기억 상태를 바탕으로 주요한 요약을 생성할 수 있습니다. 본 논문에서는 어텐션 및 포인터 메커니즘 없이 추가적인 '클로즈드 북'(closed-book) 디코더를 도입하여 포인터-제네레이터 모델의 인코더의 기억 능력을 개선하는 것을 목표로 합니다. 이러한 디코더는 어텐션과 복사 모듈에 의해 제공되는 부가 정보에 의존할 수 없기 때문에, 인코더가 기억 상태에 인코딩된 정보를 더 선택적으로 처리하도록 강제합니다. 이로써 전체 모델의 성능이 향상됩니다.CNN/데일리 메일 데이터셋에서 우리의 2개의 디코더 모델은 교차 엔트로피와 강화 학습 설정 모두에서 기준 모델보다 ROUGE 및 METEOR 지표에서 유의미하게 우수한 성능을 보였으며, 인간 평가에서도 마찬가지입니다. 또한, 우리의 모델은 DUC-2002 일반화 테스트에서도 더 높은 점수를 얻었습니다. 우리는 더욱이 메모리 능력 테스트, 두 가지 주요성 지표, 그리고 고정 인코더, 그래디언트 플로우 차단, 모델 용량 등 여러 가지 검증 실험(sanity-check ablations)을 제시하여 우리의 2개의 디코더 모델의 인코더가 실제로 기준 인코더보다 더 강력한 기억 표현을 학습한다는 것을 증명하였습니다.