HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux Neuronaux Attention-over-Attention pour la Compréhension de la Lecture

Yiming Cui†, Zhipeng Chen†, Si Wei†, Shijin Wang†, Ting Liu‡ and Guoping Hu†

Résumé

Les questions de type Cloze sont des problèmes représentatifs en compréhension de lecture. Au cours des derniers mois, nous avons constaté des progrès considérables dans l'utilisation d'approches par réseau neuronal pour résoudre les questions de type Cloze. Dans cet article, nous présentons un nouveau modèle appelé lecteur à attention sur attention (attention-over-attention reader) pour la tâche de compréhension de lecture de type Cloze. Notre modèle vise à placer une autre mécanisme d'attention au-dessus de l'attention au niveau du document, et induit une « attention assistée » (« attended attention ») pour les prédictions finales. Contrairement aux travaux précédents, notre modèle neuronal nécessite moins de paramètres hyperprécédemment définis et utilise une architecture élégante pour la modélisation. Les résultats expérimentaux montrent que le modèle proposé à attention sur attention dépasse significativement divers systèmes de pointe avec une marge importante dans des jeux de données publics tels que ceux du CNN et du Children's Book Test.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp