Galactica : Un grand modèle de langage pour la science

Le surcharge d'information est un obstacle majeur au progrès scientifique. La croissance exponentielle de la littérature et des données scientifiques rend de plus en plus difficile la découverte d'insights utiles dans une masse importante d'informations. Aujourd'hui, les connaissances scientifiques sont accessibles via des moteurs de recherche, mais ceux-ci ne sont pas en mesure d'organiser seuls ces connaissances. Dans cet article, nous présentons Galactica : un grand modèle linguistique capable de stocker, combiner et raisonner sur les connaissances scientifiques. Nous avons formé ce modèle sur un vaste corpus scientifique comprenant des articles, des documents de référence, des bases de connaissances et de nombreuses autres sources. Nous surpassons les modèles existants dans une variété de tâches scientifiques. Pour ce qui est des sondes de connaissance technique, comme les équations LaTeX, Galactica surpasse le dernier GPT-3 avec un taux de réussite de 68,2 % contre 49,0 %. Galactica excelle également dans le raisonnement, surpassant Chinchilla dans le domaine mathématique MMLU (Mathematical Multi-Task Learning Understanding) avec un score de 41,3 % contre 35,7 %, et PaLM 540B dans MATH (Mathematics Aptitude Test Heuristic) avec un score de 20,4 % contre 8,8 %. Il établit également un nouveau standard pour les tâches en aval telles que PubMedQA et MedMCQA dev avec des scores respectifs de 77,6 % et 52,9 %. Et malgré l'absence d'une formation sur un corpus généraliste, Galactica surpasse BLOOM et OPT-175B sur BIG-bench. Nous pensons que ces résultats démontrent le potentiel des modèles linguistiques comme nouvelle interface pour la science. Nous mettons le modèle à disposition sous licence open source pour le bénéfice de la communauté scientifique.