Donner une calculatrice à BERT : Recherche d'opérations et d'arguments avec la compréhension de lecture

Les modèles de compréhension de la lecture ont été appliqués avec succès pour extraire des réponses textuelles, mais il n'est pas clair comment généraliser au mieux ces modèles aux réponses numériques abstraites. Nous permettons à un modèle de compréhension de la lecture basé sur BERT d'effectuer des raisonnements numériques légers. Nous enrichissons le modèle avec un ensemble prédéfini de « programmes » exécutables, qui englobent à la fois des opérations arithmétiques simples et l'extraction d'informations. Au lieu d'apprendre à manipuler directement les nombres, le modèle peut choisir un programme et l'exécuter. Sur le jeu de données récent Discrete Reasoning Over Passages (DROP), conçu pour mettre au défi les modèles de compréhension de la lecture, nous montrons une amélioration absolue de 33 % en ajoutant des programmes superficiels. Le modèle peut apprendre à prédire de nouvelles opérations lorsque c'est approprié dans un contexte de problèmes mathématiques verbaux (Roy et Roth, 2015) avec très peu d'exemples d'entraînement.