VL-Health هي أول مجموعة بيانات شاملة لفهم وتوليد البيانات الطبية متعددة الوسائط، صدرت عام ٢٠٢٥ عن جامعة تشجيانغ وجامعة العلوم والتكنولوجيا الإلكترونية في الصين وفرق بحثية أخرى. نتائج البحث ذات الصلة هي:HealthGPT: نموذج طبي واسع النطاق للرؤية واللغة لتوحيد الفهم والتوليد من خلال التكيف مع المعرفة غير المتجانسة".

تدمج مجموعة البيانات 765000 عينة من مهام الفهم و783000 عينة من مهام التوليد، وتغطي 11 نموذجًا طبيًا (بما في ذلك التصوير المقطعي المحوسب، والتصوير بالرنين المغناطيسي، والأشعة السينية، والتصوير المقطعي البصري، وما إلى ذلك) وسيناريوهات مرضية متعددة (من أمراض الرئة إلى أورام المخ).

فهم المهمة:

يدمج VL-Health مجموعات البيانات المهنية مثل VQA-RAD (أسئلة الأشعة)، وSLAKE (تعزيز معرفة التوضيح الدلالي)، وPathVQA (سؤال وجواب في علم الأمراض)، ويكمل بيانات متعددة الوسائط واسعة النطاق مثل LLaVA-Med وPubMedVision لضمان أن يتعلم النموذج قدرات السلسلة الكاملة من التعرف على الصور الأساسية إلى التفكير في علم الأمراض المعقد.

إنشاء المهام:

تتركز مهام التوليد بشكل أساسي على الاتجاهات الأربعة التالية:

• التحويل النمطي:بناءً على بيانات CT-MRI المزدوجة لـ SynthRAD2023، يتم تدريب قدرة التحويل بين الوسائط للنموذج؛

• الدقة الفائقة:استخدام تصوير الدماغ بالرنين المغناطيسي عالي الدقة من مجموعة بيانات IXI لتحسين دقة إعادة بناء تفاصيل الصورة؛

• إنشاء نص وصورة:صور الأشعة السينية والتقارير المعتمدة على MIMIC-CXR، مما يتيح توليد وصف النص إلى الصورة؛

• إعادة بناء الصورة:تم تكييف مجموعة البيانات LLaVA-558k لتدريب قدرات ترميز وفك تشفير الصور الخاصة بالنموذج.

تصنيف مجموعة البيانات