MedFuse: دمج متعدد الأوضاع مع البيانات السريرية المتسلسلة زمنيًا وصور الصدر الشعاعية

تهدف نهج التكامل متعدد الوسائط إلى دمج المعلومات من مصادر بيانات مختلفة. على عكس المجموعات الطبيعية للبيانات، مثل تلك المستخدمة في التطبيقات السمعية والبصرية، حيث تتكون العينات من وسائط "متزامنة" (paired)، يتم جمع البيانات في الرعاية الصحية غالبًا بشكل غير متزامن. لذلك، فإن طلب وجود جميع الوسائط لعينة معينة ليس واقعيًا للمهام السريرية ويحد بشكل كبير من حجم المجموعة أثناء التدريب. في هذا البحث، نقترح MedFuse، وهو وحدة تكامل تعتمد على LSTM بسيطة مفهوميًا ولكنها واعدة يمكنها التعامل مع الإدخالات أحادية الوسيلة وكذا متعددة الوسائط. نقيم طريقة التكامل هذه ونقدم نتائج مقاييس جديدة لتوقع الوفيات داخل المستشفى تصنيف الفئات الفرعية باستخدام بيانات السلسلة الزمنية السريرية في مجموعة MIMIC-IV والصور الشعاعية الصدرية المقابلة في مجموعة MIMIC-CXR. بالمقارنة مع استراتيجيات التكامل متعدد الوسائط الأكثر تعقيدًا، يوفر MedFuse تحسينًا كبيرًا في الأداء على مجموعة الاختبار المتزامنة تمامًا (fully paired). كما أنه يظل ثابت الأداء عبر مجموعة الاختبار الجزئي المتزامن التي تحتوي على عينات بدون صور شعاعية صدرية. نقوم بإصدار رمزنا لضمان قابلية الإعادة وإمكانية تقييم النماذج المنافسة في المستقبل.