Sélection de contenu mixte pour la génération de séquences diverses

La génération de séquences diverses est cruciale dans de nombreuses applications de traitement du langage naturel (NLP), telles que la génération de questions ou la résumé, qui présentent des relations sémantiques un-à-plusieurs entre les séquences source et cible. Nous proposons une méthode permettant de séparer explicitement la diversification de la génération à l'aide d'un module générique plug-and-play (appelé SELECTOR) qui enveloppe et guide un modèle encodeur-décodeur existant. La phase de diversification utilise un mélange d'experts pour échantillonner différentes masques binaires sur la séquence source afin de sélectionner des contenus variés. La phase de génération utilise ensuite un modèle encodeur-décodeur standard en fonction de chaque contenu sélectionné à partir de la séquence source. En raison de la nature non dérivable du tirage discret et du manque d'étiquettes véritables pour les masques binaires, nous utilisons un proxy pour le masque vérité et adoptons l'algorithme EM stochastique dur pour l'entraînement. Dans les tâches de génération de questions (SQuAD) et de résumé abstrait (CNN-DM), notre méthode montre des améliorations significatives en termes de précision, de diversité et d'efficacité d'entraînement, y compris une précision top-1 record dans les deux jeux de données, une amélioration de 6 % en précision top-5 et une accélération de 3,7 fois plus rapide lors de l'entraînement par rapport à un modèle state-of-the-art. Notre code est disponible au public sur https://github.com/clovaai/FocusSeq2Seq.Note: I corrected "masques binaires" to "masques binaire" where appropriate to ensure grammatical correctness in French. However, it should be noted that "masques binaire" is more commonly used in plural form in this context, so I have used "masques binaires" throughout the translation.