HyperAIHyperAI

Command Palette

Search for a command to run...

Lecteur Neuro-Symbolique : Intégration Évolutive de Représentations Distribuées et Symboliques pour la Compréhension de Lecture

Chen Liang Quoc V. Le Denny Zhou Adams Wei Yu Xinyun Chen Dawn Song

Résumé

L’intégration de représentations distribuées avec des opérations symboliques est essentielle pour la compréhension de lecture exigeant un raisonnement complexe, tel que le comptage, le tri ou les opérations arithmétiques. Toutefois, la plupart des approches existantes peinent à être étendues à d’autres domaines ou à des raisonnements plus complexes. Dans ce travail, nous proposons le Neural Symbolic Reader (NeRd), qui comprend un lecteur, par exemple BERT, chargé d’encoder le passage et la question, ainsi qu’un programmeur, par exemple un LSTM, chargé de générer un programme exécuté pour produire la réponse. Contrairement aux travaux antérieurs, NeRd présente une meilleure évolutivité sous deux aspects : (1) agnostique au domaine, c’est-à-dire que la même architecture neuronale s’applique à différents domaines ; (2) composant, c’est-à-dire que, lorsque nécessaire, des programmes complexes peuvent être générés en appliquant récursivement des opérateurs prédéfinis, qui deviennent ainsi des représentations exécutables et interprétables pour des raisonnements plus complexes. En outre, afin de surmonter le défi de l’entraînement de NeRd sous une supervision faible, nous utilisons des techniques d’augmentation de données ainsi qu’un algorithme d’Expectation-Maximization (EM) dur avec seuillage. Sur DROP, un jeu de données de compréhension de lecture exigeant un raisonnement discret, NeRd atteint une amélioration absolue de 1,37 %/1,18 % sur les métriques EM/F1 par rapport à l’état de l’art. Avec la même architecture, NeRd surpasse significativement les modèles de référence sur MathQA, un benchmark de problèmes mathématiques nécessitant plusieurs étapes de raisonnement, avec une augmentation absolue de 25,5 % en précision lorsqu’il est entraîné sur l’ensemble des programmes annotés. Plus important encore, NeRd bat encore les modèles de référence même lorsqu’uniquement 20 % des annotations de programmes sont disponibles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Lecteur Neuro-Symbolique : Intégration Évolutive de Représentations Distribuées et Symboliques pour la Compréhension de Lecture | Articles | HyperAI