Encodage de séquences multi-granulaires par unités composites dilatées pour la compréhension de lecture

Les encodeurs de séquences constituent des composants essentiels dans de nombreuses architectures neuronales destinées à l’apprentissage de la lecture et de la compréhension. Ce papier présente un nouvel encodeur compositional dédié à la compréhension de lecture (RC). L’encodeur proposé vise non seulement à offrir une rapidité accrue, mais aussi une expressivité élevée. Plus précisément, la principale innovation de notre encodeur réside dans sa capacité à modéliser explicitement les informations à plusieurs granularités grâce à un nouveau mécanisme de composition dilatée. Dans notre approche, des fonctions de mise en gate (gating) sont apprises en modélisant les relations et en raisonner sur des informations de séquence à différentes granularités, permettant ainsi un apprentissage compositional conscient à la fois des informations à court et à long terme. Nous menons des expériences sur trois jeux de données de compréhension de lecture, montrant que notre encodeur proposé obtient des résultats très prometteurs, tant lorsqu’il est utilisé comme encodeur indépendant que comme composant complémentaire. Les résultats empiriques démontrent qu’un modèle simple basé sur une architecture Bi-Attentive enrichie par notre encodeur atteint des performances au niveau de l’état de l’art ou très compétitives, tout en étant considérablement plus rapide que d’autres travaux publiés.