PubMedVision은 2024년 홍콩중문대학교(선전) 선전 빅데이터 연구소와 국립의학빅데이터연구소(선전)가 공동으로 발표한 의료 멀티모달 역량 평가 데이터셋입니다. 관련 논문 결과는 다음과 같습니다.HuatuoGPT-Vision, 다중 모드 LLM에 대규모 의료 시각 지식 주입을 향해"의료 분야에서 시각적 지식 융합과 추론 성능을 테스트하기 위해 의료 시각-텍스트 이해 과제에서 다중 모드 대규모 언어 모델(MLLM)에 대한 표준화된 테스트 리소스를 제공하는 것을 목표로 합니다.

이 데이터세트에는 약 130만 개의 의료 시각 질의응답(VQA) 예시가 포함되어 있으며, 여기에는 정렬된 VQA 예시 647,031개와 지침 기반 미세 조정 VQA 예시 647,031개가 포함됩니다. 이 데이터는 엄선된 914,960개의 의료 이미지와 그에 수반되는 맥락(제목 및 본문 내 인용 등)을 기반으로 구축되었으며, 다양한 의료 영상 기법과 해부학적 영역을 포괄합니다. 각 예시는 의학 논문에서 발췌한 이미지와 설명 텍스트로 구성됩니다. 다중 모드 대규모 언어 모델(예: GPT-4V)을 사용하여 해당 이미지 설명, 질문 및 답변을 생성합니다.