MaskGAN : Une génération de texte améliorée grâce au remplissage des _

Les modèles de génération de texte neuronaux sont souvent des modèles de langage autoregressifs ou des modèles seq2seq. Les modèles neuronaux autoregressifs et seq2seq qui génèrent du texte en échantillonnant les mots de manière séquentielle, chaque mot étant conditionné au précédent, représentent actuellement l’état de l’art sur plusieurs benchmarks de traduction automatique et de résumé. Ces benchmarks sont généralement définis par le perplexité sur les données de validation, bien que celle-ci ne soit pas une mesure directe de la qualité des échantillons générés. Les modèles de langage sont typiquement entraînés par maximisation de la vraisemblance, et le plus souvent avec une technique appelée « teacher forcing ». Ce dernier est particulièrement adapté à l’optimisation de la perplexité, mais peut entraîner une qualité de génération médiocre, car la génération de texte nécessite de conditionner sur des séquences de mots qui n’ont jamais été observées durant l’entraînement. Nous proposons d’améliorer la qualité des échantillons en utilisant des réseaux génératifs adverses (GANs), qui entraînent explicitement le générateur à produire des échantillons de haute qualité et ont démontré un grand succès dans la génération d’images. Les GANs ont initialement été conçus pour produire des valeurs différentiables, ce qui rend la génération de langage discret particulièrement difficile. Nous introduisons un GAN conditionnel à acteur-critique capable de compléter du texte manquant en se basant sur le contexte environnant. Nous montrons, de manière qualitative et quantitative, que cette approche produit des échantillons de texte plus réalistes que ceux obtenus avec un modèle entraîné par maximisation de la vraisemblance.