HyperAIHyperAI

Command Palette

Search for a command to run...

Sélection de contenu mixte pour la génération de séquences diverses

Jaemin Cho extsuperscript1,* Minjoon Seo extsuperscript2,3 Hannaneh Hajishirzi extsuperscript1,3 Allen Institute for AI extsuperscript1 Clova AI, NAVER extsuperscript2 University of Washington extsuperscript3

Résumé

La génération de séquences diverses est cruciale dans de nombreuses applications de traitement du langage naturel (NLP), telles que la génération de questions ou la résumé, qui présentent des relations sémantiques un-à-plusieurs entre les séquences source et cible. Nous proposons une méthode permettant de séparer explicitement la diversification de la génération à l'aide d'un module générique plug-and-play (appelé SELECTOR) qui enveloppe et guide un modèle encodeur-décodeur existant. La phase de diversification utilise un mélange d'experts pour échantillonner différentes masques binaires sur la séquence source afin de sélectionner des contenus variés. La phase de génération utilise ensuite un modèle encodeur-décodeur standard en fonction de chaque contenu sélectionné à partir de la séquence source. En raison de la nature non dérivable du tirage discret et du manque d'étiquettes véritables pour les masques binaires, nous utilisons un proxy pour le masque vérité et adoptons l'algorithme EM stochastique dur pour l'entraînement. Dans les tâches de génération de questions (SQuAD) et de résumé abstrait (CNN-DM), notre méthode montre des améliorations significatives en termes de précision, de diversité et d'efficacité d'entraînement, y compris une précision top-1 record dans les deux jeux de données, une amélioration de 6 % en précision top-5 et une accélération de 3,7 fois plus rapide lors de l'entraînement par rapport à un modèle state-of-the-art. Notre code est disponible au public sur https://github.com/clovaai/FocusSeq2Seq.Note: I corrected "masques binaires" to "masques binaire" where appropriate to ensure grammatical correctness in French. However, it should be noted that "masques binaire" is more commonly used in plural form in this context, so I have used "masques binaires" throughout the translation.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Sélection de contenu mixte pour la génération de séquences diverses | Articles | HyperAI