Résumé

Nous présentons un modèle fondamental de raisonnement scientifique qui aligne le langage naturel avec des représentations scientifiques hétérogènes. Le modèle est préentraîné sur un corpus de 206 milliards de tokens couvrant des textes scientifiques, des séquences pures et des paires séquence-texte, puis aligné via une phase de fine-tuning par instruction (SFT) sur 40 millions d'instructions, accompagnée d'un démarrage progressif (annealed cold-start bootstrapping) visant à susciter des chaînes de raisonnement détaillées et longues, ainsi que d'une apprentissage par renforcement avec une récompense adaptée aux tâches, ce qui instille un raisonnement scientifique réfléchi. Le modèle supporte quatre familles de capacités, couvrant jusqu'à 103 tâches au sein de différents flux de travail : (i) une traduction fidèle entre textes et formats scientifiques, (ii) l'extraction de texte ou de connaissances, (iii) la prédiction de propriétés, (iv) la classification de propriétés, et (v) la génération inconditionnelle et conditionnelle de séquences ainsi que la conception de séquences. Par rapport aux systèmes spécialisés, notre approche élargit le spectre des instructions supportées, améliore la généralisation inter-domaines et renforce la fidélité. Nous détaillons la collecte de données, le processus d'entraînement, et montrons que l'apprentissage transdisciplinaire renforce le transfert et la fiabilité en tâches spécifiques. Le modèle, les jeux de données d'instruction fine-tuning et le code d'évaluation sont désormais disponibles en open source sur https://huggingface.co/SciReason et https://github.com/open-sciencelab/SciReason.