HyperAIHyperAI

Command Palette

Search for a command to run...

Un Système de Récupération d'Information Basé Entièrement sur l'Attention

Alvaro H. C. Correia Jorge L. M. Silva Thiago de C. Martins Fabio G. Cozman

Résumé

Les réseaux de neurones récurrents sont désormais à la pointe de l'art dans le domaine du traitement automatique des langues naturelles, car ils peuvent construire des représentations contextuelles riches et traiter des textes de longueur arbitraire. Cependant, les développements récents sur les mécanismes d'attention ont doté les réseaux de neurones à alimentation directe (feedforward) de capacités similaires, ce qui permet des calculs plus rapides grâce à l'augmentation du nombre d'opérations pouvant être parallélisées. Nous explorons ce nouveau type d'architecture dans le domaine de la réponse aux questions et proposons une approche novatrice que nous appelons Récupérateur d'Information Basé Pleinement sur l'Attention (FABIR). Nous montrons que FABIR obtient des résultats compétitifs dans le Jeu de Données de Réponse aux Questions de Stanford (SQuAD), tout en ayant moins de paramètres et en étant plus rapide tant pour l'apprentissage que pour l'inférence comparativement aux méthodes concurrentes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Un Système de Récupération d'Information Basé Entièrement sur l'Attention | Articles | HyperAI