ProtoRaisonnement : Les prototypes comme fondement du raisonnement généralisable dans les LLMs

Les récentes avancées dans les Modèles de Raisonnement à Grande Échelle (LRMs) formés avec une Raisonnement en Chaîne Longue (Long CoT) ont démontré des capacités de généralisation transdomaine remarquables. Cependant, les mécanismes sous-jacents qui soutiennent ce transfert restent mal compris. Nous formulons l'hypothèse que la généralisation transdomaine émerge de prototypes de raisonnement abstrait partagés – des motifs de raisonnement fondamentaux qui capturent l'essence des problèmes à travers différents domaines. Ces prototypes minimisent les nuances de la représentation, révélant que des tâches apparemment diverses sont enracinées dans des structures de raisonnement communes.Sur la base de cette hypothèse, nous proposons ProtoReasoning, un cadre qui améliore la capacité de raisonnement des modèles linguistiques à grande échelle (LLMs) en exploitant des représentations prototypiques évolutives et vérifiables (Prolog pour le raisonnement logique, PDDL pour la planification). Les caractéristiques de ProtoReasoning incluent : (1) une pipeline automatisée de construction de prototypes qui transforme les problèmes en leurs représentations prototypiques correspondantes ; (2) un système de vérification complet fournissant un retour fiable grâce aux interprètes Prolog/PDDL ; (3) l'évolutivité pour synthétiser des problèmes arbitrairement au sein de l'espace prototypique tout en assurant leur correction.Des expériences approfondies montrent que ProtoReasoning réalise une amélioration de 4,7 % par rapport aux modèles baselines sur le raisonnement logique (Enigmata-Eval), une amélioration de 6,3 % sur les tâches de planification, une amélioration de 4,0 % sur le raisonnement général (MMLU) et une amélioration de 1,0 % sur les mathématiques (AIME24). De manière significative, nos études d'ablation confirment que l'apprentissage dans l'espace prototypique montre également une généralisation accrue vers des problèmes structuralement similaires par rapport à la formation uniquement sur des représentations naturelles, validant ainsi notre hypothèse selon laquelle les prototypes de raisonnement servent de fondement à un raisonnement généralisable dans les grands modèles linguistiques.