Résolution de problèmes de raisonnement quantitatif avec des modèles linguistiques

Les modèles de langage ont obtenu des performances remarquables sur une gamme étendue de tâches nécessitant la compréhension du langage naturel. Néanmoins, les modèles d'avant-garde ont généralement éprouvé des difficultés avec les tâches requérant un raisonnement quantitatif, telles que la résolution de problèmes de mathématiques, de sciences et d'ingénierie au niveau universitaire. Pour aider à combler cet écart, nous présentons Minerva, un grand modèle de langage pré-entraîné sur des données de langage naturel général et ultérieurement entraîné sur du contenu technique. Le modèle atteint des performances d'état de l'art sur des benchmarks techniques sans l'utilisation d'outils externes. Nous avons également évalué notre modèle sur plus de deux cents problèmes de niveau licence en physique, biologie, chimie, économie et autres sciences nécessitant un raisonnement quantitatif, et constaté que le modèle peut répondre correctement à près d'un tiers d'entre eux.