PubMedVision هي مجموعة بيانات طبية متعددة الوسائط عالية الجودة وواسعة النطاق تم إنشاؤها في عام 2024 بواسطة فريق بحثي من معهد أبحاث البيانات الضخمة في شنتشن، والجامعة الصينية في هونج كونج، والمعهد الوطني للبيانات الصحية، وتحتوي على 1.3 مليون عينة طبية من VQA. نتائج الورقة ذات الصلة هيرؤية HuatuoGPT، نحو إدخال المعرفة البصرية الطبية في برامج الماجستير في القانون متعدد الوسائط على نطاق واسع".

تستخدم مجموعة البيانات هذه أساليب معالجة بيانات متطورة لاختيار الصور ذات الصلة بالطب وأوصاف الصور المعلوماتية من الأوراق المنشورة في مجلة PubMed الطبية الدولية، مما يؤدي إلى تصفية عدد كبير من الصور غير ذات الصلة بالطب والمحتوى غير ذي الصلة بالسياق بشكل فعال. ومن أجل تحسين محاذاة البيانات الرسومية والنصية، استخدم فريق البحث النموذج المرئي الكبير (GPT-4V) لإعادة وصف الصور وبناء الحوارات في 10 سيناريوهات، وإعادة كتابة البيانات الرسومية والنصية في شكل أسئلة وأجوبة، مما يعزز تعلم المعرفة البصرية الطبية.