Modèle d'attention guidé par la diversité pour la génération de résumés abstraits basés sur des requêtes

La synthèse abstraite vise à générer une version plus courte du document, couvrant tous les points essentiels de manière concise et cohérente. En revanche, la synthèse basée sur une requête met en évidence les points pertinents dans le contexte d'une requête donnée. Le paradigme encode-attend-decode a connu un succès notable dans des domaines tels que la traduction automatique, la synthèse extractive et les systèmes de dialogue. Cependant, il souffre du défaut de génération de phrases répétitives. Dans cette étude, nous proposons un modèle pour la tâche de synthèse basée sur une requête, s'appuyant sur le paradigme encode-attend-decode avec deux ajouts clés : (i) un modèle d'attention à la requête (en complément du modèle d'attention au document), qui apprend à se concentrer sur différentes parties de la requête à différents moments (au lieu d'utiliser une représentation statique de la requête) et (ii) un nouveau modèle d'attention basé sur la diversité visant à atténuer le problème des phrases répétitives dans le résumé. Pour permettre l'évaluation de ce modèle, nous introduisons un nouveau jeu de données pour la synthèse basée sur une requête, construit à partir de Debatepedia. Nos expériences montrent que ces deux ajouts permettent au modèle proposé de surpasser nettement les modèles encode-attend-decode standards, avec une amélioration de 28 % (en valeur absolue) des scores ROUGE-L.