1. 튜토리얼 소개

HealthGPT는 중국 저장대학교, 전자과학기술대학교, 알리바바, 홍콩과학기술대학교, 싱가포르국립대학교가 공동으로 개발한 대규모 의료 시각 언어 모델(Med-LVLM)로, 2025년 3월 16일에 공개되었습니다. 이 모델은 이종 지식 적응 기술을 통해 의료 시각 이해 및 생성 작업을 위한 통합 프레임워크를 구현합니다. 혁신적인 이종 저랭크 적응(H-LoRA) 기법을 사용하여 시각 이해 및 생성 작업에 필요한 지식을 독립적인 플러그인에 저장함으로써 작업 간 충돌을 방지합니다. HealthGPT는 Phi-3-mini 및 Phi-4 사전 학습된 언어 모델을 기반으로 HealthGPT-M3(38억 개 파라미터)과 HealthGPT-L14(140억 개 파라미터) 두 가지 버전을 제공합니다. 또한, 계층적 시각 인식(HVP)과 3단계 학습 전략(TLS)을 도입하여 시각 특징 학습 및 작업 적응 능력을 최적화했습니다. 관련 연구 논문은 온라인에서 확인할 수 있습니다. HealthGPT: 이기종 지식 적응을 통한 통합 이해 및 생성을 위한 의료용 대형 시각 언어 모델 ICML 2025에 포함되었으며, 주목할 만한 프로젝트로 선정되었습니다.

이 튜토리얼은 RTX A6000 카드 1개에 대한 리소스를 사용합니다. 영어 사용을 권장합니다.

이 프로젝트는 두 가지 모델을 제공합니다.

• HealthGPT-M3: 속도와 메모리 사용량 감소에 최적화된 소형 버전입니다.
• HealthGPT-L14: 더 높은 성능과 더 복잡한 작업을 위해 설계된 대형 버전입니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

2. 사용 단계

"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 약 2~3분 정도 기다리신 후 페이지를 새로고침해 주시기 바랍니다.

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓

인용 정보

Github 사용자에게 감사드립니다 xxxjjjyyy1  이 튜토리얼의 배포. 이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@misc{lin2025healthgptmedicallargevisionlanguage,
      title={HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation}, 
      author={Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi},
      year={2025},
      eprint={2502.09838},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2502.09838}, 
}