HyperAIHyperAI

Command Palette

Search for a command to run...

Raisonnement multi-intervalles pour la compréhension machine

Yi Tay; Luu Anh Tuan; Siu Cheung Hui

Résumé

Nous proposons les MRU (Unités de Raisonnement Multi-Plages), un nouvel encodeur compositionnel rapide pour la compréhension machine (MC). Nos encodeurs MRU proposés sont caractérisés par une modulation multi-plage, exécutant une série de couches de contraction et d'expansion paramétrées pour apprendre des vecteurs de modulation qui bénéficient des dépendances à long et court terme. Les objectifs de notre approche sont les suivants : (1) apprendre des représentations qui prennent simultanément en compte le contexte à long et court terme, (2) modéliser les relations entre les blocs intra-documentaires et (3) coder des séquences rapidement et efficacement. Nous montrons que notre encodeur proposé obtient des résultats prometteurs, tant en tant qu'encodeur autonome que comme élément complémentaire. Nous menons des expériences approfondies sur trois jeux de données MC difficiles, à savoir RACE, SearchQA et NarrativeQA, obtenant des performances très compétitives sur tous. Sur le benchmark RACE, notre modèle surpasse DFN (Réseaux de Fusion Dynamique) de 1,5 % à 6 % sans utiliser aucune couche récurrente ou convolutive. De manière similaire, nous obtenons des performances compétitives par rapport à AMANDA sur le benchmark SearchQA et BiDAF sur le benchmark NarrativeQA sans utiliser aucune couche LSTM/GRU. Enfin, l'intégration des encodeurs MRU aux architectures BiLSTM standard améliore encore davantage les performances, atteignant des résultats d'état de l'art.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp