PubMedVision هي مجموعة بيانات لتقييم القدرات الطبية متعددة الوسائط، أصدرها عام ٢٠٢٤ معهد شنتشن لأبحاث البيانات الضخمة، وجامعة هونغ كونغ الصينية (شنتشن)، والمعهد الوطني للبيانات الضخمة الطبية (شنتشن). نتائج البحث ذات الصلة هي:رؤية HuatuoGPT، نحو إدخال المعرفة البصرية الطبية في برامج الماجستير في القانون متعدد الوسائط على نطاق واسع"، والذي يهدف إلى توفير موارد اختبار موحدة لنماذج اللغة الكبيرة متعددة الوسائط (MLLMs) في مهام فهم النصوص البصرية الطبية لاختبار اندماج المعرفة البصرية وأداء التفكير في المجال الطبي. تحتوي هذه المجموعة من البيانات على ما يقارب 1.3 مليون مثال على إجابات الأسئلة الطبية البصرية (VQA)، بما في ذلك 647,031 مثالًا مُنسّقًا، و647,031 مثالًا آخر مُعدّلًا بدقة قائمًا على التعليمات. بُنيت البيانات من 914,960 صورة طبية مُختارة بعناية، بالإضافة إلى سياقها المُصاحب (مثل العناوين والاقتباسات النصية)، والتي تُغطي مجموعة متنوعة من أساليب التصوير الطبي والمناطق التشريحية. يتكون كل مثال من صورة ونص توضيحي من بحث طبي. تُستخدم نماذج لغوية كبيرة متعددة الوسائط (مثل GPT-4V) لإنشاء وصف الصورة والسؤال والإجابة المُقابلة.

الاستشهاد

@misc{chen2024huatuogptvisioninjectingmedicalvisual,
title={HuatuoGPT-Vision, Towards Injecting Medical Visual Knowledge into Multimodal LLMs at Scale},
author={Junying Chen and Ruyi Ouyang and Anningzhe Gao and Shunian Chen and Guiming Hardy Chen and Xidong Wang and Ruifei Zhang and Zhenyang Cai and Ke Ji and Guangjun Yu and Xiang Wan and Benyou Wang},
year={2024},
eprint={2406.19280},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2406.19280},
}