Un Modèle Unifié pour la Résumation Extractive et Abstractive Utilisant une Perte d'Incohérence

Nous proposons un modèle unifié combinant les forces de la sommatisation extractive et abstractive. D'une part, un modèle extractif simple peut obtenir une attention au niveau des phrases avec des scores ROUGE élevés, mais il est moins lisible. D'autre part, un modèle abstrait plus complexe peut obtenir une attention dynamique au niveau des mots pour générer un paragraphe plus lisible. Dans notre modèle, l'attention au niveau des phrases est utilisée pour moduler l'attention au niveau des mots, de sorte que les mots dans les phrases moins attentives sont moins susceptibles d'être générés. De plus, une nouvelle fonction de perte d'incohérence est introduite pour pénaliser l'incohérence entre les deux niveaux d'attention. En formant notre modèle de manière end-to-end avec la fonction de perte d'incohérence et les pertes originales des modèles extractifs et abstraits, nous obtenons des scores ROUGE à la pointe de la technologie tout en étant le résumé le plus informatif et lisible sur le jeu de données CNN/Daily Mail lors d'une évaluation humaine solide.