Un Système de Récupération d'Information Basé Entièrement sur l'Attention

Les réseaux de neurones récurrents sont désormais à la pointe de l'art dans le domaine du traitement automatique des langues naturelles, car ils peuvent construire des représentations contextuelles riches et traiter des textes de longueur arbitraire. Cependant, les développements récents sur les mécanismes d'attention ont doté les réseaux de neurones à alimentation directe (feedforward) de capacités similaires, ce qui permet des calculs plus rapides grâce à l'augmentation du nombre d'opérations pouvant être parallélisées. Nous explorons ce nouveau type d'architecture dans le domaine de la réponse aux questions et proposons une approche novatrice que nous appelons Récupérateur d'Information Basé Pleinement sur l'Attention (FABIR). Nous montrons que FABIR obtient des résultats compétitifs dans le Jeu de Données de Réponse aux Questions de Stanford (SQuAD), tout en ayant moins de paramètres et en étant plus rapide tant pour l'apprentissage que pour l'inférence comparativement aux méthodes concurrentes.