HyperAIHyperAI

Command Palette

Search for a command to run...

Encodage de séquences multi-granulaires par unités composites dilatées pour la compréhension de lecture

Anh Tuan Luu Yi Tay Siu Cheung Hui

Résumé

Les encodeurs de séquences constituent des composants essentiels dans de nombreuses architectures neuronales destinées à l’apprentissage de la lecture et de la compréhension. Ce papier présente un nouvel encodeur compositional dédié à la compréhension de lecture (RC). L’encodeur proposé vise non seulement à offrir une rapidité accrue, mais aussi une expressivité élevée. Plus précisément, la principale innovation de notre encodeur réside dans sa capacité à modéliser explicitement les informations à plusieurs granularités grâce à un nouveau mécanisme de composition dilatée. Dans notre approche, des fonctions de mise en gate (gating) sont apprises en modélisant les relations et en raisonner sur des informations de séquence à différentes granularités, permettant ainsi un apprentissage compositional conscient à la fois des informations à court et à long terme. Nous menons des expériences sur trois jeux de données de compréhension de lecture, montrant que notre encodeur proposé obtient des résultats très prometteurs, tant lorsqu’il est utilisé comme encodeur indépendant que comme composant complémentaire. Les résultats empiriques démontrent qu’un modèle simple basé sur une architecture Bi-Attentive enrichie par notre encodeur atteint des performances au niveau de l’état de l’art ou très compétitives, tout en étant considérablement plus rapide que d’autres travaux publiés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Encodage de séquences multi-granulaires par unités composites dilatées pour la compréhension de lecture | Articles | HyperAI