HyperAIHyperAI

Command Palette

Search for a command to run...

Donner une calculatrice à BERT : Recherche d'opérations et d'arguments avec la compréhension de lecture

Daniel Andor Luheng He Kenton Lee Emily Pitler

Résumé

Les modèles de compréhension de la lecture ont été appliqués avec succès pour extraire des réponses textuelles, mais il n'est pas clair comment généraliser au mieux ces modèles aux réponses numériques abstraites. Nous permettons à un modèle de compréhension de la lecture basé sur BERT d'effectuer des raisonnements numériques légers. Nous enrichissons le modèle avec un ensemble prédéfini de « programmes » exécutables, qui englobent à la fois des opérations arithmétiques simples et l'extraction d'informations. Au lieu d'apprendre à manipuler directement les nombres, le modèle peut choisir un programme et l'exécuter. Sur le jeu de données récent Discrete Reasoning Over Passages (DROP), conçu pour mettre au défi les modèles de compréhension de la lecture, nous montrons une amélioration absolue de 33 % en ajoutant des programmes superficiels. Le modèle peut apprendre à prédire de nouvelles opérations lorsque c'est approprié dans un contexte de problèmes mathématiques verbaux (Roy et Roth, 2015) avec très peu d'exemples d'entraînement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp