il y a 2 mois
Attention neuronale alternée itérative pour la lecture automatique
Alessandro Sordoni; Philip Bachman; Adam Trischler; Yoshua Bengio

Résumé
Nous proposons une nouvelle architecture d'attention neuronale pour aborder les tâches de compréhension automatique, telles que la réponse à des requêtes de type Cloze en se référant à un document. Contrairement aux modèles précédents, nous ne réduisons pas la requête à un seul vecteur ; au lieu de cela, nous mettons en œuvre un mécanisme d'attention alternée itérative qui permet une exploration détaillée de la requête et du document. Notre modèle surpasse les baselines de pointe dans des benchmarks standard de compréhension automatique, tels que les articles d'actualité CNN et le jeu de données Children's Book Test (CBT).