il y a 17 jours

Lecteur Neuro-Symbolique : Intégration Évolutive de Représentations Distribuées et Symboliques pour la Compréhension de Lecture

{Chen Liang, Quoc V. Le, Denny Zhou, Adams Wei Yu, Xinyun Chen, Dawn Song}

Résumé

L’intégration de représentations distribuées avec des opérations symboliques est essentielle pour la compréhension de lecture exigeant un raisonnement complexe, tel que le comptage, le tri ou les opérations arithmétiques. Toutefois, la plupart des approches existantes peinent à être étendues à d’autres domaines ou à des raisonnements plus complexes. Dans ce travail, nous proposons le Neural Symbolic Reader (NeRd), qui comprend un lecteur, par exemple BERT, chargé d’encoder le passage et la question, ainsi qu’un programmeur, par exemple un LSTM, chargé de générer un programme exécuté pour produire la réponse. Contrairement aux travaux antérieurs, NeRd présente une meilleure évolutivité sous deux aspects : (1) agnostique au domaine, c’est-à-dire que la même architecture neuronale s’applique à différents domaines ; (2) composant, c’est-à-dire que, lorsque nécessaire, des programmes complexes peuvent être générés en appliquant récursivement des opérateurs prédéfinis, qui deviennent ainsi des représentations exécutables et interprétables pour des raisonnements plus complexes. En outre, afin de surmonter le défi de l’entraînement de NeRd sous une supervision faible, nous utilisons des techniques d’augmentation de données ainsi qu’un algorithme d’Expectation-Maximization (EM) dur avec seuillage. Sur DROP, un jeu de données de compréhension de lecture exigeant un raisonnement discret, NeRd atteint une amélioration absolue de 1,37 %/1,18 % sur les métriques EM/F1 par rapport à l’état de l’art. Avec la même architecture, NeRd surpasse significativement les modèles de référence sur MathQA, un benchmark de problèmes mathématiques nécessitant plusieurs étapes de raisonnement, avec une augmentation absolue de 25,5 % en précision lorsqu’il est entraîné sur l’ensemble des programmes annotés. Plus important encore, NeRd bat encore les modèles de référence même lorsqu’uniquement 20 % des annotations de programmes sont disponibles.