Ensemble De Données De Raisonnement Mathématique MetaMathQA

Le processus de raisonnement de la plupart des LLM open source existants (par exemple, LLaMA-2) est relativement compliqué et n'est toujours pas satisfaisant pour résoudre les problèmes mathématiques. Pour combler cette lacune, les chercheurs ont proposé MetaMath, un modèle de langage perfectionné spécialisé dans le raisonnement mathématique. Afin d'améliorer les capacités de raisonnement direct et inverse du modèle,Des chercheurs de Cambridge, de l'Université des sciences et technologies de Hong Kong et de Huawei ont proposé l'ensemble de données MetaMathQA basé sur deux ensembles de données mathématiques couramment utilisés (GSM8K et MATH) : un ensemble de données de raisonnement mathématique avec une large couverture et une haute qualité. MetaMathQA se compose de 395 000 paires de questions-réponses mathématiques avant-arrière générées par un grand modèle de langage. Ils ont affiné LLaMA-2 sur l'ensemble de données MetaMathQA pour obtenir un grand modèle de langage MetaMath qui se concentre sur le raisonnement mathématique (avant et arrière), et ont obtenu SOTA sur l'ensemble de données de raisonnement mathématique. L'ensemble de données MetaMathQA et les modèles MetaMath de différentes tailles ont été mis à disposition des chercheurs en open source.

MetaMathQA comprend quatre méthodes d’augmentation des données :

1. Augmentation de la réponse : Étant donné une question, un grand modèle de langage est utilisé pour générer une chaîne de pensées qui peut conduire à la bonne réponse en tant qu'augmentation des données.
2. Reformulation de la question : Étant donné une méta-question, réécrivez la question via un grand modèle de langage et générez une chaîne de pensées qui mène à la bonne réponse en tant qu'augmentation des données.
3. Question FOBAR (amélioration de la question inversée FOBAR) : Étant donné une méta-question, générez une question inversée en masquant le nombre dans la condition comme x, étant donné la réponse originale et en déduisant ×, et générez le processus de chaîne de réflexion correct basé sur la question inversée pour effectuer une augmentation des données
4. Question d'auto-vérification : basée sur FOBAR, la partie de la question inverse est réécrite sous forme d'énoncé via un grand modèle de langage pour effectuer une augmentation des données.