Résumé

Bien que le paradigme du « raisonnement profond » ait permis des progrès significatifs dans des domaines vérifiables tels que les mathématiques, son application à la génération ouverte et créative demeure un défi majeur. Les deux approches dominantes visant à intégrer le raisonnement — l’apprentissage par renforcement (RL) et la distillation d’instructions — échouent dans ce contexte : le RL peine en l’absence de signaux de récompense clairs et de modèles de récompense de haute qualité, tandis que la distillation s’avère prohibitivement coûteuse et limitée par les capacités du modèle enseignant. Pour surmonter ces limites, nous introduisons REER (Reverse-Engineered Reasoning), un nouveau paradigme qui repense fondamentalement l’approche. Contrairement à la construction d’un processus de raisonnement « en avant » par essai-erreur ou imitation, REER fonctionne « en arrière », à partir de solutions connues comme étant de qualité, afin de découvrir de manière computationnelle le processus de raisonnement profond, étape par étape, qui aurait pu produire ces résultats. Grâce à cette approche évolutive et sans gradient, nous avons constitué et mis à disposition sous licence libre un grand ensemble de données, DeepWriting-20K, comprenant 20 000 trajectoires de raisonnement profond pour des tâches ouvertes. Notre modèle, DeepWriter-8B, entraîné sur ces données, dépasse non seulement les modèles open-source les plus performants, mais atteint également une performance compétitive, et parfois supérieure, à celle des modèles propriétaires leaders tels que GPT-4o et Claude 3.5.