HyperAIHyperAI

Command Palette

Search for a command to run...

Génération de longs textes par entraînement adversarial avec information fuite

Jiaxian Guo†, Sidi Lu†, Han Cai†, Weinan Zhang†*, Yong Yu†, Jun Wang‡

Résumé

La génération automatique de texte cohérent et sémantiquement significatif a de nombreuses applications dans la traduction automatique, les systèmes de dialogue, la légendage d'images, etc. Récemment, en combinant avec le gradient de politique, les Réseaux Antagonistes Générateurs (GAN) qui utilisent un modèle discriminatif pour guider l'entraînement du modèle génératif comme une politique d'apprentissage par renforcement ont montré des résultats prometteurs dans la génération de texte. Cependant, le signal directeur scalaire n'est disponible qu'après que l'ensemble du texte ait été généré et manque d'informations intermédiaires sur la structure du texte pendant le processus génératif. Par conséquent, cela limite son succès lorsque la longueur des échantillons de texte générés est importante (plus de 20 mots). Dans cet article, nous proposons un nouveau cadre appelé LeakGAN pour résoudre ce problème dans la génération de longs textes. Nous permettons au réseau discriminatif de communiquer ses propres caractéristiques extraites à haut niveau au réseau génératif afin d'aider davantage à sa direction. Le générateur intègre ces signaux informatifs à toutes les étapes de génération grâce à un module supplémentaire appelé Manager, qui prend en entrée les caractéristiques extraites des mots actuellement générés et produit un vecteur latent pour guider le module Worker lors de la génération du mot suivant. Nos expériences approfondies sur des données synthétiques et diverses tâches réelles, évaluées par un test de Turing, démontrent que LeakGAN est très efficace pour la génération de longs textes et améliore également les performances dans les scénarios de génération de courts textes. Plus important encore, sans aucune supervision, LeakGAN serait capable d'apprendre implicitement les structures des phrases uniquement par l'interaction entre Manager et Worker.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp