HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage séquentiel à séquence régularisé par attention pour le défi E2E NLG

Qian Lin Biao Zhang Jinsong Su Jing Yang

Résumé

Cet article décrit notre système utilisé pour le défi de génération de langage naturel (NLG) en bout-à-bout (end-to-end, E2E). Ce défi repose sur un nouveau jeu de données dédié aux systèmes de dialogue oraux dans le domaine des restaurants, caractérisé par une richesse lexicale et une variation syntaxique accrues, et qui impose une sélection de contenu (Novikova et al., 2017). Pour relever ce défi, nous utilisons un modèle d’apprentissage séquence-à-séquence amélioré par le CAEncoder (Zhang et al., 2017) et proposons un régularisateur d’attention visant à répartir uniformément les poids d’attention sur les mots d’entrée tout en maîtrisant le problème de surajustement (overfitting). Sans aucune configuration spécifique, notre système obtient des performances très prometteuses. En particulier, il atteint un score ROUGE-L de 0,7083, le meilleur résultat parmi tous les systèmes principaux soumis.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp