VL-Health 의료 추론 생성 데이터 세트

VL-Health는 저장대학교, 중국 전자과학기술대학교 및 기타 연구팀이 2025년에 발표한 의료 멀티모달 이해 및 생성을 위한 최초의 종합 데이터셋입니다. 관련 논문 결과는 다음과 같습니다.HealthGPT: 이기종 지식 적응을 통한 통합 이해 및 생성을 위한 의료용 대형 시각 언어 모델".

이 데이터 세트는 11가지 의료 방식(CT, MRI, X선, OCT 등)과 여러 질병 시나리오(폐 질환에서 뇌종양까지)를 포괄하여 765,000개의 이해 작업 샘플과 783,000개의 생성 작업 샘플을 통합했습니다.

작업 이해:

VL-Health는 VQA-RAD(방사선학 질문), SLAKE(의미적 주석 지식 강화), PathVQA(병리학 질문과 답변)와 같은 전문 데이터 세트를 통합하고 LLaVA-Med 및 PubMedVision과 같은 대규모 다중 모드 데이터를 보완하여 모델이 기본 이미지 인식에서 복잡한 병리학적 추론까지 전체 체인 기능을 학습하도록 보장합니다.

작업 생성:

생성 작업은 주로 다음 네 가지 방향에 초점을 맞춥니다.

• 모달 변환:SynthRAD2023의 CT-MRI 쌍 데이터를 기반으로 모델의 모달리티 간 변환 기능을 훈련합니다.

• 초고해상도:IXI 데이터 세트의 고해상도 뇌 MRI를 사용하여 이미지 세부 재구성의 정확도를 향상시킵니다.

• 텍스트-이미지 생성:MIMIC-CXR을 기반으로 한 X선 영상 및 보고서, 텍스트 설명으로부터 영상 생성을 실현합니다.

• 이미지 재구성:모델의 이미지 인코딩-디코딩 기능을 훈련하기 위해 LLaVA-558k 데이터 세트를 조정했습니다.

데이터 세트 분류