HyperAIHyperAI
il y a 2 mois

Flot d'Attention Bidirectionnel pour la Compréhension par Machine

Minjoon Seo; Aniruddha Kembhavi; Ali Farhadi; Hannaneh Hajishirzi
Flot d'Attention Bidirectionnel pour la Compréhension par Machine
Résumé

La compréhension machine (MC), qui consiste à répondre à une requête concernant un paragraphe de contexte donné, nécessite la modélisation d'interactions complexes entre le contexte et la requête. Récemment, les mécanismes d'attention ont été étendus avec succès à la MC. Généralement, ces méthodes utilisent l'attention pour se concentrer sur une petite partie du contexte et le résumer par un vecteur de taille fixe, couplent les attentions temporellement, et/ou forment souvent une attention unidirectionnelle. Dans cet article, nous introduisons le réseau Bi-Directional Attention Flow (BIDAF), un processus hiérarchique en plusieurs étapes qui représente le contexte à différents niveaux de granularité et utilise un mécanisme d'attention bidirectionnelle pour obtenir une représentation du contexte sensible à la requête sans résumé précoce. Nos évaluations expérimentales montrent que notre modèle atteint des résultats de pointe dans l'ensemble de données Stanford Question Answering (SQuAD) et dans les tests de complétion CNN/DailyMail.

Flot d'Attention Bidirectionnel pour la Compréhension par Machine | Articles de recherche récents | HyperAI