Une technique de résumé abstrait de texte utilisant un modèle Transformer avec mécanisme d'attention auto-associative
La création d'une version résumée d'un document texte tout en préservant une signification précise constitue une tâche extrêmement complexe en traitement du langage naturel (NLP). La synthèse abstraite de texte (ATS, Abstract Text Summarization) consiste à extraire des faits des phrases sources et à les fusionner en représentations concises, tout en conservant le contenu et l'intention du texte original. La rédaction manuelle de résumés à partir de grandes quantités de texte s'avère difficile et chronophage pour les humains. En conséquence, la synthèse de texte est devenue un domaine de recherche passionnant en NLP. Ce papier présente un modèle ATS basé sur la technique Transformer avec mécanisme d’attention auto-associative (T2SAM). Le mécanisme d’attention auto-associative est intégré au modèle Transformer afin de résoudre le problème de coréférence dans le texte, améliorant ainsi la compréhension du système. Le modèle T2SAM proposé améliore significativement les performances de la synthèse de texte. Il a été entraîné sur le jeu de données Inshorts News combiné au jeu de données DUC-2004 issu des tâches partagées. Les performances du modèle ont été évaluées à l’aide des métriques ROUGE, démontrant qu’il surpassait les modèles de référence les plus avancés existants. Le modèle atteint une perte d’entraînement minimale de 1,8220, passant de 10,3058 au départ sur 30 époques, et obtient un score F1 de 48,50 % sur les deux jeux de données Inshorts et DUC-2004.