VL-Health는 저장대학교, 중국 전자과학기술대학교 및 기타 연구팀이 2025년에 발표한 의료 멀티모달 이해 및 생성을 위한 최초의 종합 데이터셋입니다. 관련 논문 결과는 다음과 같습니다.HealthGPT: 이기종 지식 적응을 통한 통합 이해 및 생성을 위한 의료용 대형 시각 언어 모델". 이 데이터 세트는 11가지 의료 방식(CT, MRI, X선, OCT 등)과 여러 질병 시나리오(폐 질환에서 뇌종양까지)를 포괄하여 765,000개의 이해 작업 샘플과 783,000개의 생성 작업 샘플을 통합했습니다.

작업 이해:

VL-Health는 VQA-RAD(방사선학 질문), SLAKE(의미적 주석 지식 강화), PathVQA(병리학 질문과 답변)와 같은 전문 데이터 세트를 통합하고 LLaVA-Med 및 PubMedVision과 같은 대규모 다중 모드 데이터를 보완하여 모델이 기본 이미지 인식에서 복잡한 병리학적 추론까지 전체 체인 기능을 학습하도록 보장합니다.

작업 생성:

생성 작업은 주로 다음 네 가지 방향에 초점을 맞춥니다.

• **모달 변환:**SynthRAD2023의 CT-MRI 쌍 데이터를 기반으로 모델의 모달리티 간 변환 기능을 훈련합니다.
• **초고해상도:**IXI 데이터 세트의 고해상도 뇌 MRI를 사용하여 이미지 세부 재구성의 정확도를 향상시킵니다.
• **텍스트-이미지 생성:**MIMIC-CXR을 기반으로 한 X선 영상 및 보고서, 텍스트 설명으로부터 영상 생성을 실현합니다.
• **이미지 재구성:**모델의 이미지 인코딩-디코딩 기능을 훈련하기 위해 LLaVA-558k 데이터 세트를 조정했습니다. 데이터 세트 분류

소환

@misc{lin2025healthgptmedicallargevisionlanguage,
title={HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation},
author={Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi},
year={2025},
eprint={2502.09838},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2502.09838},
}