HyperAIHyperAI

Command Palette

Search for a command to run...

Propagation de l'attention densément connectée pour la compréhension de la lecture

Yi Tay Luu Anh Tuan Siu Cheung Hui Jian Su

Résumé

Nous proposons DecaProp (Densely Connected Attention Propagation), une nouvelle architecture neuronale densément connectée pour la compréhension de lecture (RC). Notre modèle présente deux caractéristiques distinctes. Premièrement, notre modèle relie densesment toutes les paires de couches du réseau, modélisant les relations entre le passage et la requête à tous les niveaux hiérarchiques. Deuxièmement, les connecteurs denses dans notre réseau sont appris par l'attention plutôt que par des connecteurs résiduels standards. À cette fin, nous proposons de nouveaux Connecteurs d'Attention Bidirectionnels (BAC) pour établir efficacement des connexions tout au long du réseau. Nous menons des expériences approfondies sur quatre benchmarks de RC difficiles. Notre approche proposée obtient des résultats de pointe sur les quatre benchmarks, surpassant les baselines existantes jusqu'à 2,6 % - 14,2 % en score F1 absolu.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Propagation de l'attention densément connectée pour la compréhension de la lecture | Articles | HyperAI