HealthGPT: مساعد طبي بالذكاء الاصطناعي

1. مقدمة البرنامج التعليمي

HealthGPT هو نموذج اللغة البصرية الطبية الكبيرة (Med-LVLM)، الذي أصدرته جامعة تشجيانغ، وجامعة العلوم والتكنولوجيا الإلكترونية الصينية، وعلي بابا، وجامعة هونغ كونغ للعلوم والتكنولوجيا، والجامعة الوطنية في سنغافورة في 16 مارس 2025. يُحقق هذا النموذج إطارًا موحدًا لمهام فهم وتوليد البصريات الطبية من خلال تقنية تكييف المعرفة غير المتجانسة. باستخدام تقنية التكيف غير المتجانس منخفض الرتبة (H-LoRA) المبتكرة، تُخزن معرفة مهام فهم وتوليد البصريات في مكونات إضافية مستقلة لتجنب التعارضات بين المهام. يوفر HealthGPT نسختين: HealthGPT-M3 (3.8 مليار معلمة) وHealthGPT-L14 (14 مليار معلمة)، واللتان تعتمدان على نماذج لغوية مُدربة مسبقًا من نوعي Phi-3-mini وPhi-4 على التوالي. يُقدم النموذج الإدراك البصري الهرمي (HVP) واستراتيجية تعلم ثلاثية المراحل (TLS) لتحسين قدرات التعلم وتكيف المهام للميزات البصرية. نتائج البحث ذات الصلة هي:HealthGPT: نموذج طبي واسع النطاق للرؤية واللغة لتوحيد الفهم والتوليد من خلال التكيف مع المعرفة غير المتجانسة". لقد تم تضمينه في ICML 2025 وتم اختياره كـSpotlight.

يستخدم هذا البرنامج التعليمي موارد لبطاقة RTX A6000 واحدة. يُنصح باستخدام اللغة الإنجليزية.

يقدم المشروع نموذجين من النماذج:

• HealthGPT-M3: إصدار أصغر حجمًا تم تحسينه للسرعة وتقليل استخدام الذاكرة.
• HealthGPT-L14: إصدار أكبر مصمم لأداء أعلى ومهام أكثر تعقيدًا.

2. أمثلة المشاريع

3. خطوات التشغيل

1. بعد بدء تشغيل الحاوية، انقر فوق عنوان API للدخول إلى واجهة الويب

2. خطوات الاستخدام

إذا تم عرض "بوابة سيئة"، فهذا يعني أن النموذج قيد التهيئة. نظرًا لأن النموذج كبير الحجم، يرجى الانتظار لمدة 2-3 دقائق وتحديث الصفحة.

4. المناقشة

🖌️ إذا رأيت مشروعًا عالي الجودة، فيرجى ترك رسالة في الخلفية للتوصية به! بالإضافة إلى ذلك، قمنا أيضًا بتأسيس مجموعة لتبادل الدروس التعليمية. مرحبًا بالأصدقاء لمسح رمز الاستجابة السريعة وإضافة [برنامج تعليمي SD] للانضمام إلى المجموعة لمناقشة المشكلات الفنية المختلفة ومشاركة نتائج التطبيق↓

معلومات الاستشهاد

شكرًا لمستخدم Github xxxجججج1  نشر هذا البرنامج التعليمي. معلومات الاستشهاد لهذا المشروع هي كما يلي:

@misc{lin2025healthgptmedicallargevisionlanguage,
      title={HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation}, 
      author={Tianwei Lin and Wenqiao Zhang and Sijing Li and Yuqian Yuan and Binhe Yu and Haoyuan Li and Wanggui He and Hao Jiang and Mengze Li and Xiaohui Song and Siliang Tang and Jun Xiao and Hui Lin and Yueting Zhuang and Beng Chin Ooi},
      year={2025},
      eprint={2502.09838},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2502.09838}, 
}