PubMedVision 대규모 의료 VQA 데이터 세트

* 이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

PubMedVision은 2024년에 선전 빅데이터 연구소, 홍콩 중국 대학, 국가 건강 데이터 연구소의 연구팀이 만든 대규모 고품질 의료 다중 모달 데이터 세트로, 130만 개의 의료 VQA 샘플을 포함하고 있습니다. 관련 논문 결과는 다음과 같습니다.HuatuoGPT-Vision, 다중 모드 LLM에 대규모 의료 시각 지식 주입을 향해".

이 데이터 세트는 정교한 데이터 처리 방법을 사용하여 PubMed 국제 의학 저널에 실린 논문에서 의학 관련 이미지와 유익한 이미지 설명을 선택하여 의학과 관련 없는 이미지와 맥락과 관련 없는 콘텐츠를 대량으로 효과적으로 걸러냅니다. 연구팀은 그래픽과 텍스트 데이터의 정렬을 개선하기 위해 대규모 시각 모델(GPT-4V)을 사용하여 이미지를 다시 설명하고 10가지 시나리오에서 대화를 구성했으며, 그래픽과 텍스트 데이터를 질의응답 형식으로 다시 작성하여 의학적 시각 지식의 학습을 강화했습니다.