2 个月前
HealthGPT：一种通过异质知识适应统一理解与生成的医学大型视觉-语言模型
Tianwei Lin, Wenqiao Zhang, Sijing Li, Yuqian Yuan, Binhe Yu, Haoyuan Li, Wanggui He, Hao Jiang, Mengze Li, Xiaohui Song, Siliang Tang, Jun Xiao, Hui Lin, Yueting Zhuang, Beng Chin Ooi
摘要
我们介绍了HealthGPT，这是一种强大的医疗大型视觉-语言模型（Med-LVLM），它在一个统一的自回归范式中集成了医疗视觉理解和生成能力。我们的引导策略是逐步将异构的理解和生成知识适应到预训练的大型语言模型（LLMs）中。这一目标通过一种新颖的异构低秩适应（H-LoRA）技术实现，并辅以定制的分层视觉感知方法和三阶段学习策略。为了有效训练HealthGPT，我们设计了一个全面的医疗领域特定理解与生成数据集，称为VL-Health。实验结果表明，HealthGPT在医疗视觉统一任务中表现出色且具有良好的可扩展性。我们的项目可通过此https链接访问。