Intern-S1 : un modèle fondamental multimodal scientifique
Ces dernières années, une grande diversité de modèles fondamentaux open source a émergé, remportant des progrès remarquables dans plusieurs domaines largement suivis, avec des performances s’approchant souvent de celles des modèles propriétaires. Toutefois, dans des domaines scientifiques à haute valeur ajoutée mais plus complexes, soit ces domaines continuent de dépendre de modèles spécialisés, soit l’évolution des modèles fondamentaux généraux reste nettement en retard par rapport à celle observée dans les domaines populaires. Ce retard est insuffisant pour transformer réellement la recherche scientifique, laissant un écart significatif entre les modèles open source et propriétaires dans ces domaines scientifiques. Pour réduire cet écart et avancer davantage vers l’intelligence artificielle générale (AGI), nous introduisons Intern-S1, un modèle généraliste spécialisé doté de capacités générales d’understanding et de raisonnement, ainsi que d’expertise dans l’analyse de données scientifiques multimodales. Intern-S1 est un modèle multimodal à Mélange d’Experts (Mixture-of-Experts, MoE) comportant 28 milliards de paramètres activés et 241 milliards de paramètres au total, pré-entraîné de manière continue sur 5 téra-octets de tokens, dont plus de 2,5 téra-octets provenant de domaines scientifiques. Lors de la phase de post-entraînement, Intern-S1 subit une apprentissage par renforcement (RL) hors ligne, puis en ligne, dans le cadre d’InternBootCamp, où nous proposons le Mélange de Récompenses (Mixture-of-Rewards, MoR), permettant d’optimiser simultanément l’entraînement par renforcement sur plus de 1000 tâches. Grâce à des innovations intégrées dans les algorithmes, les données et les systèmes d’entraînement, Intern-S1 atteint des performances de haut niveau dans l’apprentissage par renforcement en ligne. Sur des benchmarks d’évaluation complets, Intern-S1 démontre des performances compétitives parmi les modèles open source pour les tâches de raisonnement général, et s’impose nettement au-dessus des modèles open source dans les domaines scientifiques, dépassant même certains modèles propriétaires de pointe dans des tâches spécialisées, telles que la planification de synthèse moléculaire, la prédiction des conditions de réaction, ou encore la prévision de la stabilité thermodynamique des cristaux. Nos modèles sont disponibles à l’adresse suivante : https://huggingface.co/internlm/Intern-S1.