MEDITRON-70B：大规模语言模型的医学预训练扩展

大型语言模型（LLMs）有可能使医疗知识的获取更加民主化。尽管已经有许多努力致力于利用和提升这些模型的医学知识和推理能力，但现有的模型要么是闭源的（例如，PaLM、GPT-4），要么规模有限（<= 13B参数），这限制了它们的应用范围。在本研究中，我们通过发布MEDITRON来改善对大规模医学LLMs的访问：这是一套包含7B和70B参数的开源大型语言模型，经过适应以适用于医学领域。MEDITRON基于Llama-2（通过我们对Nvidia的Megatron-LM分布式训练器的改进），并在精心策划的医学语料库上进行了扩展预训练，该语料库包括精选的PubMed文章、摘要以及国际公认的医学指南。使用四个主要医学基准进行评估的结果显示，在特定任务微调前后，MEDITRON相比多个最先进的基线模型表现出显著的性能提升。总体而言，MEDITRON在其参数级别上比最佳公开基线模型提高了6%的绝对性能，并且比从Llama-2微调得到的最强基线模型提高了3%。与闭源LLMs相比，MEDITRON-70B的表现优于GPT-3.5和Med-PaLM，并且其性能接近GPT-4（差距在5%以内）和Med-PaLM-2（差距在10%以内）。我们发布了用于策划医学预训练语料库和MEDITRON模型权重的代码，以推动更强大的开源医学LLMs的发展。