PubMedVision은 2024년 홍콩중문대학교(선전) 선전 빅데이터 연구소와 국립의학빅데이터연구소(선전)가 공동으로 발표한 의료 멀티모달 역량 평가 데이터셋입니다. 관련 논문 결과는 다음과 같습니다.HuatuoGPT-Vision, 다중 모드 LLM에 대규모 의료 시각 지식 주입을 향해"의료 분야에서 시각적 지식 융합과 추론 성능을 테스트하기 위해 의료 시각-텍스트 이해 과제에서 다중 모드 대규모 언어 모델(MLLM)에 대한 표준화된 테스트 리소스를 제공하는 것을 목표로 합니다. 이 데이터세트에는 약 130만 개의 의료 시각 질의응답(VQA) 예시가 포함되어 있으며, 여기에는 정렬된 VQA 예시 647,031개와 지침 기반 미세 조정 VQA 예시 647,031개가 포함됩니다. 이 데이터는 엄선된 914,960개의 의료 이미지와 그에 수반되는 맥락(제목 및 본문 내 인용 등)을 기반으로 구축되었으며, 다양한 의료 영상 기법과 해부학적 영역을 포괄합니다. 각 예시는 의학 논문에서 발췌한 이미지와 설명 텍스트로 구성됩니다. 다중 모드 대규모 언어 모델(예: GPT-4V)을 사용하여 해당 이미지 설명, 질문 및 답변을 생성합니다.

소환

@misc{chen2024huatuogptvisioninjectingmedicalvisual,
title={HuatuoGPT-Vision, Towards Injecting Medical Visual Knowledge into Multimodal LLMs at Scale},
author={Junying Chen and Ruyi Ouyang and Anningzhe Gao and Shunian Chen and Guiming Hardy Chen and Xidong Wang and Ruifei Zhang and Zhenyang Cai and Ke Ji and Guangjun Yu and Xiang Wan and Benyou Wang},
year={2024},
eprint={2406.19280},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2406.19280},
}