2달 전
HealthGPT: 이질적 지식 적응을 통한 이해와 생성의 통합을 위한 의료용 대형 시각-언어 모델
Tianwei Lin, Wenqiao Zhang, Sijing Li, Yuqian Yuan, Binhe Yu, Haoyuan Li, Wanggui He, Hao Jiang, Mengze Li, Xiaohui Song, Siliang Tang, Jun Xiao, Hui Lin, Yueting Zhuang, Beng Chin Ooi
초록
우리는 HealthGPT를 소개합니다. 이는 의료 시각적 이해 및 생성 기능을 통합한 강력한 의료 대형 시각-언어 모델(Med-LVLM)입니다. 우리의 부트스트래핑 철학은 사전 학습된 대형 언어 모델(LLMs)에 점진적으로 다양한 이해 및 생성 지식을 적응시키는 것입니다. 이를 위해 새로운 이종 저순위 적응(H-LoRA) 기술을 개발하였으며, 이 기술은 특화된 계층적 시각 인식 접근법과 세 단계 학습 전략으로 보완됩니다. HealthGPT의 효과적인 학습을 위해 우리는 VL-Health라는 포괄적인 의료 분야 특화 이해 및 생성 데이터셋을 설계하였습니다. 실험 결과는 HealthGPT가 의료 시각 통합 작업에서 뛰어난 성능과 확장성을 보임을 입증하고 있습니다. 본 프로젝트는 다음 https URL에서 접근할 수 있습니다.