초록
주목 메커니즘을 사용한 RNN 기반 인코더-디코더 모델은 추상적 요약에서 짧은 입력 및 출력 시퀀스에 대해 좋은 성능을 보여주었습니다. 그러나 더 긴 문서와 요약에서는 이러한 모델이 종종 반복적이고 일관성 없는 문구를 포함하는 경향이 있습니다. 우리는 입력과 지속적으로 생성되는 출력을 별도로 주목하는 새로운 내부 주목 메커니즘과 표준 감독 학습 단어 예측 및 강화 학습(RL)을 결합한 새로운 훈련 방법을 도입합니다. 감독 학습만으로 훈련된 모델은 종종 "노출 편향"을 나타냅니다 - 훈련 과정에서 각 단계마다 실제 값이 제공된다고 가정합니다. 그러나 표준 단어 예측이 RL의 전역 시퀀스 예측 훈련과 결합되면 결과 요약의 가독성이 높아집니다. 우리는 이 모델을 CNN/Daily Mail 및 New York Times 데이터셋에서 평가하였습니다. 우리의 모델은 CNN/Daily Mail 데이터셋에서 41.16의 ROUGE-1 점수를 얻었으며, 이는 이전 최신 연구 모델보다 개선된 결과입니다. 인간 평가에서도 우리의 모델이 더 높은 품질의 요약을 생성한다는 것이 확인되었습니다.