MedPromptX: التحفيز متعدد الوسائط المستند إلى الأساس لتشخيص صور الأشعة السينية للصدر

تُستخدم صور الأشعة السينية للصدر بشكل شائع لتنبؤ الظروف القلبية الرئوية الحادة والمزمنة، لكن جهود دمجها مع البيانات السريرية المنظمة تواجه تحديات بسبب عدم اكتمال السجلات الصحية الإلكترونية (EHR). يُقدِّم هذا البحث نظام MedPromptX، وهو أول نظام دعم قرارات سريري يدمج نماذج اللغة الكبيرة متعددة الوسائط (MLLMs)، وتقنيات التحفيز بنماذج قليلة (FP)، والتثبيت البصري (VG) لدمج الصور مع بيانات EHR في تشخيص الأشعة السينية للصدر. يتم استخدام نموذج MLLM مسبق التدريب لتعويض المعلومات الناقصة في السجلات الصحية الإلكترونية، مما يوفر فهمًا شاملًا لتاريخ المرضى الطبي. بالإضافة إلى ذلك، تقلل FP من الحاجة إلى تدريب مكثف لنماذج MLLM بينما تتعامل بفعالية مع مشكلة الهلوسة. ومع ذلك، يمكن أن يكون تحديد العدد الأمثل من أمثلة FP واختيار المرشحين ذوي الجودة العالية أمرًا عسيرًا، ولكنه يؤثر بشكل كبير على أداء النموذج. لذلك، نقترح تقنية جديدة تقوم بتحسين بيانات FP بشكل ديناميكي للتكيف الفوري مع حالات المرضى الجديدة. علاوة على ذلك، يضيق VG نطاق البحث في صور الأشعة السينية، مما يعزز تحديد الشواذ. كما نطلق MedPromptX-VQA، وهي مجموعة بيانات جديدة للأسئلة البصرية الإجابية في السياق تتضمن صورًا وبيانات EHR متشابكة مستخرجة من قواعد البيانات MIMIC-IV و MIMIC-CXR-JPG. تظهر النتائج أداء MedPromptX المتفوق على التقنيات السابقة (SOTA)، حيث حققت تحسينًا بنسبة 11% في مؤشر F1 مقارنة بالأسس. الرمز والبيانات متاحان بشكل عام على https://github.com/BioMedIA-MBZUAI/MedPromptX.