Résumé de documents multiples avec une attention basée sur le processus déterminantal

La capacité à transmettre des informations pertinentes et diversifiées est essentielle dans la synthèse de documents multiples, et demeure toutefois difficile à atteindre pour les modèles neuronaux de type séquence à séquence (seq-to-seq), dont les sorties sont souvent redondantes et échouent à couvrir correctement les détails importants. Dans ce travail, nous proposons un mécanisme d’attention qui encourage une plus grande focalisation sur la pertinence et la diversité. Les poids d’attention sont calculés à partir de probabilités (proportionnelles) fournies par des Processus Point Déterminantaux (DPPs) définis sur l’ensemble des unités de contenu à résumer. Les DPPs ont déjà été utilisés avec succès dans la synthèse extraitive ; ici, nous les exploitons pour sélectionner des contenus pertinents et diversifiés dans le cadre de la synthèse abstraite neuronale. Nous intégrons ce mécanisme d’attention basé sur les DPPs à diverses architectures seq-to-seq, allant des CNNs aux LSTMs et aux Transformers. L’évaluation expérimentale montre que notre mécanisme d’attention améliore de manière cohérente la qualité de la synthèse et atteint des performances comparables aux meilleures méthodes actuelles sur le jeu de données MultiNews.