Que la Force soit avec votre mécanisme de copie : méthode supervisée améliorée par copie pour la génération de langage naturel

Les modèles récents de séquence à séquence basés sur les réseaux neuronaux et intégrant un mécanisme de copie ont connu des progrès remarquables dans diverses tâches de génération de texte. Ces modèles ont permis de résoudre les problèmes liés aux mots hors vocabulaire et ont facilité la génération de mots rares. Toutefois, l’identification du mot à copier demeure difficile, comme l’ont observé les modèles précédents, qui souffrent de générations incorrectes et d’un manque d’abstraction. Dans cet article, nous proposons une nouvelle approche supervisée pour les réseaux de copie, permettant au modèle de déterminer de manière plus précise quels mots doivent être copiés et quels mots doivent être générés. Plus précisément, nous reformulons la fonction objectif en exploitant les séquences sources et les vocabulaires cibles comme guide pour la copie. Les résultats expérimentaux sur les tâches de génération de texte à partir de données et de résumé abstrait confirment que notre approche améliore la qualité de la copie tout en augmentant le degré d’abstraction du texte généré.