Galactica：用于科学的大型语言模型

信息过载是科学进步的主要障碍。科学文献和数据的爆炸性增长使得在大量信息中发现有用见解变得越来越困难。目前，科学知识主要通过搜索引擎获取，但仅靠搜索引擎无法有效组织这些知识。本文介绍了一种名为Galactica的大规模语言模型，该模型能够存储、整合和推理科学知识。我们使用了包含论文、参考材料、知识库和其他多种来源的大型科学语料库进行训练。在一系列科学任务上，我们的表现优于现有模型。例如，在LaTeX公式等技术知识测试中，Galactica的表现比最新的GPT-3高出68.2%（而GPT-3为49.0%）。Galactica在推理能力方面也表现出色，在数学MMLU测试中以41.3%的成绩超过了Chinchilla的35.7%，并且在MATH测试中的得分（20.4%）远高于PaLM 540B的8.8%。此外，它还在PubMedQA和MedMCQA开发集等下游任务上取得了新的最佳成绩，分别为77.6%和52.9%。尽管没有经过通用语料库的训练，Galactica在BIG-bench上的表现仍优于BLOOM和OPT-175B。我们认为这些结果展示了语言模型作为科学研究新界面的巨大潜力。为了造福科学界，我们开源了该模型。