منذ 2 أشهر
HealthGPT: نموذج طبي كبير للرؤية واللغة لتوحيد الفهم والإنتاج من خلال تكيف المعرفة المتنوعة
Tianwei Lin, Wenqiao Zhang, Sijing Li, Yuqian Yuan, Binhe Yu, Haoyuan Li, Wanggui He, Hao Jiang, Mengze Li, Xiaohui Song, Siliang Tang, Jun Xiao, Hui Lin, Yueting Zhuang, Beng Chin Ooi
الملخص
نقدم HealthGPT، وهو نموذج بصرى-لغوى طبى كبير (Med-LVLM) قوى يدمج قدرات الفهم والتكوين الطبية البصرية ضمن منهجية تنبؤية موحدة. فلسفتنا في التمهيد هي التكيف التدريجي للمعرفة المتنوعة في الفهم والتكوين للنماذج اللغوية الكبيرة المدربة مسبقًا (LLMs). يتم تحقيق ذلك من خلال تقنية التكيف ذات الرتبة المنخفضة المتنوعة الجديدة (H-LoRA)، والتي تكملها طريقة الإدراك البصري الهرمي المخصصة واستراتيجية التعلم الثلاثية المراحل. لتعلم HealthGPT بكفاءة، نصمم مجموعة بيانات شاملة خاصة بمجال الطب للفهم والتكوين تسمى VL-Health. تظهر النتائج التجريبية أداءً استثنائيًا وقابلية توسع عالية لـ HealthGPT في المهام البصرية الموحدة الطبية. يمكن الوصول إلى مشروعنا عبر هذا الرابط: https://thishttpsURL.com