DART-Math : Ajustement de rejet conscient des difficultés pour la résolution de problèmes mathématiques
La résolution de problèmes mathématiques nécessite des capacités avancées de raisonnement et présente des défis notables pour les grands modèles linguistiques. Les travaux précédents synthétisent généralement des données à partir de modèles propriétaires pour enrichir les jeux de données existants, suivis d'un ajustement par instructions pour obtenir des résultats de premier ordre. Cependant, notre analyse de ces jeux de données révèle des biais graves en faveur des requêtes faciles, avec un échec fréquent à générer une réponse correcte pour les requêtes les plus difficiles. En supposant que les requêtes difficiles sont essentielles pour apprendre le raisonnement complexe, nous proposons l'ajustement par rejet conscient de la difficulté (DART), une méthode qui alloue plus d'essais aux requêtes difficiles lors de la phase de synthèse, permettant ainsi un entraînement plus approfondi sur des échantillons difficiles. En utilisant DART, nous avons créé de nouveaux jeux de données pour la résolution de problèmes mathématiques qui se concentrent davantage sur les requêtes difficiles et sont considérablement plus petits que ceux précédemment utilisés. Remarquablement, notre processus de synthèse repose uniquement sur un modèle à poids ouverts d'une taille de 7 milliards (7B) de paramètres, sans dépendance au GPT-4 propriétaires couramment utilisé. Nous avons affiné divers modèles de base sur nos jeux de données, dont la taille varie de 7 milliards (7B) à 70 milliards (70B) de paramètres, aboutissant à une série de modèles puissants appelés DART-MATH. Dans une évaluation exhaustive en domaine et hors domaine sur six benchmarks mathématiques, DART-MATH surpassent significativement l'ajustement par rejet classique, étant supérieur ou comparable aux états antérieurs de l'art, malgré l'utilisation de jeux de données beaucoup plus petits et l'absence de modèles propriétaires. De plus, nos résultats positionnent nos jeux de données synthétiques comme les ressources publiques les plus efficaces et rentables pour faire progresser la résolution des problèmes mathématiques.