HyperAIHyperAI

Command Palette

Search for a command to run...

We-Math 2.0 : un système MathBook polyvalent pour inciter au raisonnement mathématique visuel

Runqi Qiao Qiuna Tan Peiqing Yang Yanzi Wang Xiaowan Wang et al

Résumé

Les modèles linguistiques à grande échelle multimodaux (MLLM) ont démontré des capacités impressionnantes sur diverses tâches, mais continuent de peiner face au raisonnement mathématique complexe. La recherche existante se concentre principalement sur la construction de jeux de données et l'optimisation des méthodes, souvent au détriment de deux aspects cruciaux : une conception fondée sur une connaissance complète, et une modélisation de l’espace des données centrée sur le modèle. Dans cet article, nous présentons We-Math 2.0, un système unifié intégrant un système structuré de connaissance mathématique, une modélisation de l’espace des données centrée sur le modèle, ainsi qu’un paradigme d’entraînement basé sur le renforcement (RL), afin d’améliorer de manière globale les capacités de raisonnement mathématique des MLLM. Les contributions principales de We-Math 2.0 sont les suivantes : (1) Système de connaissance MathBook : nous avons construit un système hiérarchique en cinq niveaux comprenant 491 points de connaissance et 1 819 principes fondamentaux. (2) Jeux de données MathBook-Standard & Pro : nous avons développé MathBook-Standard, un jeu de données assurant une couverture conceptuelle large et une flexibilité accrue grâce à une expansion double. Par ailleurs, nous avons défini un espace de difficulté tridimensionnel et généré 7 variantes progressives par problème afin de constituer MathBook-Pro, un jeu de données exigeant destiné à un entraînement robuste. (3) MathBook-RL : nous proposons un cadre RL en deux étapes comprenant : (i) une fine-tuning en phase initiale (cold-start), qui aligne le modèle sur un raisonnement en chaîne orienté connaissance ; et (ii) un apprentissage par renforcement d’alignement progressif, exploitant l’apprentissage basé sur la récompense moyenne et une planification dynamique des données pour atteindre un alignement progressif à travers les niveaux de difficulté. (4) MathBookEval : nous introduisons une évaluation complète couvrant les 491 points de connaissance, avec des distributions diversifiées des étapes de raisonnement. Les résultats expérimentaux montrent que MathBook-RL est compétitif par rapport aux méthodes de référence sur quatre benchmarks largement utilisés, tout en obtenant de résultats solides sur MathBookEval, suggérant un potentiel prometteur en généralisation du raisonnement mathématique.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp