Raisonnement multi-intervalles pour la compréhension machine

Nous proposons les MRU (Unités de Raisonnement Multi-Plages), un nouvel encodeur compositionnel rapide pour la compréhension machine (MC). Nos encodeurs MRU proposés sont caractérisés par une modulation multi-plage, exécutant une série de couches de contraction et d'expansion paramétrées pour apprendre des vecteurs de modulation qui bénéficient des dépendances à long et court terme. Les objectifs de notre approche sont les suivants : (1) apprendre des représentations qui prennent simultanément en compte le contexte à long et court terme, (2) modéliser les relations entre les blocs intra-documentaires et (3) coder des séquences rapidement et efficacement. Nous montrons que notre encodeur proposé obtient des résultats prometteurs, tant en tant qu'encodeur autonome que comme élément complémentaire. Nous menons des expériences approfondies sur trois jeux de données MC difficiles, à savoir RACE, SearchQA et NarrativeQA, obtenant des performances très compétitives sur tous. Sur le benchmark RACE, notre modèle surpasse DFN (Réseaux de Fusion Dynamique) de 1,5 % à 6 % sans utiliser aucune couche récurrente ou convolutive. De manière similaire, nous obtenons des performances compétitives par rapport à AMANDA sur le benchmark SearchQA et BiDAF sur le benchmark NarrativeQA sans utiliser aucune couche LSTM/GRU. Enfin, l'intégration des encodeurs MRU aux architectures BiLSTM standard améliore encore davantage les performances, atteignant des résultats d'état de l'art.