HyperAIHyperAI
il y a 2 mois

Génération de longs textes par entraînement adversarial avec information fuite

Jiaxian Guo; Sidi Lu; Han Cai; Weinan Zhang; Yong Yu; Jun Wang
Génération de longs textes par entraînement adversarial avec information fuite
Résumé

La génération automatique de texte cohérent et sémantiquement significatif a de nombreuses applications dans la traduction automatique, les systèmes de dialogue, la légendage d'images, etc. Récemment, en combinant avec le gradient de politique, les Réseaux Antagonistes Générateurs (GAN) qui utilisent un modèle discriminatif pour guider l'entraînement du modèle génératif comme une politique d'apprentissage par renforcement ont montré des résultats prometteurs dans la génération de texte. Cependant, le signal directeur scalaire n'est disponible qu'après que l'ensemble du texte ait été généré et manque d'informations intermédiaires sur la structure du texte pendant le processus génératif. Par conséquent, cela limite son succès lorsque la longueur des échantillons de texte générés est importante (plus de 20 mots). Dans cet article, nous proposons un nouveau cadre appelé LeakGAN pour résoudre ce problème dans la génération de longs textes. Nous permettons au réseau discriminatif de communiquer ses propres caractéristiques extraites à haut niveau au réseau génératif afin d'aider davantage à sa direction. Le générateur intègre ces signaux informatifs à toutes les étapes de génération grâce à un module supplémentaire appelé Manager, qui prend en entrée les caractéristiques extraites des mots actuellement générés et produit un vecteur latent pour guider le module Worker lors de la génération du mot suivant. Nos expériences approfondies sur des données synthétiques et diverses tâches réelles, évaluées par un test de Turing, démontrent que LeakGAN est très efficace pour la génération de longs textes et améliore également les performances dans les scénarios de génération de courts textes. Plus important encore, sans aucune supervision, LeakGAN serait capable d'apprendre implicitement les structures des phrases uniquement par l'interaction entre Manager et Worker.