11 天前
BiomedGPT：一种用于多样化生物医学任务的通用视觉-语言基础模型
Kai Zhang, Rong Zhou, Eashan Adhikarla, Zhiling Yan, Yixin Liu, Jun Yu, Zhengliang Liu, Xun Chen, Brian D. Davison, Hui Ren, Jing Huang, Chen Chen, Yuyin Zhou, Sunyang Fu, Wei Liu, Tianming Liu, Xiang Li, Yong Chen, Lifang He, James Zou, Quanzheng Li, Hongfang Liu, Lichao Sun
摘要
传统生物医学人工智能（AI）模型通常针对特定任务或数据模态设计，其在实际应用中灵活性有限，难以充分利用多源信息。通用型AI因其能够解析多种数据类型并生成适配多样化需求的输出，具备克服上述局限的潜力。然而，现有的生物医学通用型AI解决方案往往模型庞大且为闭源，限制了研究者、临床从业者及患者对其的访问与使用。为此，我们提出BiomedGPT——首个开源且轻量级的视觉-语言基础模型，专为通用生物医学任务设计，具备执行多种生物医学应用的能力。在25项实验中的16项中，BiomedGPT取得了当前最优性能，同时保持了计算友好型的模型规模。我们还开展了人工评估，以检验BiomedGPT在放射科视觉问答、报告生成和文本摘要任务中的表现。结果显示，BiomedGPT在问答任务中展现出稳健的预测能力，错误率低至3.8%；在撰写复杂放射科报告任务中表现令人满意，错误率为8.3%；在摘要生成方面具备竞争力，其偏好得分与人类专家几乎相当。本研究证明，通过多样化数据的有效训练，可推动更具实用价值的生物医学AI发展，从而提升诊断准确性与临床工作流程效率。