Apprendre à copier à partir de l'histoire de copie : Réseau de copie corrélative pour la synthèse abstraite

Le mécanisme de copie a connu un succès considérable dans la synthèse abstraite, permettant aux modèles de copier directement des mots du texte d’entrée dans le résumé de sortie. Les travaux existants s’appuient principalement sur l’attention encodeur-décodeur, qui applique la copie à chaque pas de temps de manière indépendante des précédents. Toutefois, cette approche peut parfois entraîner une copie incomplète. Dans cet article, nous proposons un nouveau schéma de copie nommé Réseau de Copie Corrélationnel (CoCoNet), qui améliore le mécanisme standard de copie en tenant compte de l’historique de copie. Ce mécanisme exploite ainsi les distributions de copie antérieures et, à chaque pas de temps, encourage explicitement le modèle à copier le mot d’entrée pertinent par rapport à celui qui a été copié précédemment. En outre, nous renforçons CoCoNet grâce à un pré-entraînement sur des corpus adaptés, qui simulent les comportements de copie. Les résultats expérimentaux montrent que CoCoNet permet une copie plus précise et atteint de nouvelles performances de pointe sur des benchmarks de synthèse, notamment CNN/DailyMail pour la synthèse de nouvelles et SAMSum pour la synthèse de dialogues. Le code source et les checkpoints seront rendus disponibles publiquement.