HyperAIHyperAI

Command Palette

Search for a command to run...

Lecteurs à Attention Contrôlée pour la Compréhension du Texte

Bhuwan Dhingra Hanxiao Liu Zhilin Yang William W. Cohen Ruslan Salakhutdinov

Résumé

Dans cet article, nous étudions le problème de la réponse à des questions de type « cloze » dans des documents. Notre modèle, le Lecteur à Attention Contrôlée (Gated-Attention (GA) Reader), intègre une architecture multi-sauts avec un nouveau mécanisme d'attention, basé sur des interactions multiplicatives entre l'embedding de la requête et les états intermédiaires d'un lecteur de documents neuronal récurrent. Cela permet au lecteur de construire des représentations spécifiques à la requête pour les jetons du document, facilitant ainsi une sélection précise des réponses. Le GA Reader obtient des résultats de pointe sur trois benchmarks pour cette tâche : les articles de CNN et Daily Mail ainsi que le dataset Who Did What. L'efficacité de l'interaction multiplicative est démontrée par une étude d'ablation et en comparant différents opérateurs compositionnels pour mettre en œuvre l'attention contrôlée. Le code est disponible à l'adresse suivante : https://github.com/bdhingra/ga-reader.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp