نموذج تجميع متعدد الوسائط مبني على التعلم العميق لتشخيص الآفات الجلدية باستخدام الصور السريرية التي تم جمعها بواسطة الهواتف الذكية والبيانات الوصفية

المقدمة: يُعدّ سرطان الجلد أحد أكثر أنواع السرطان شيوعًا. ويساهم أداة متاحة للجمهور في فحص الأورام الخبيثة. وقد هدفنا إلى تطوير نموذج تعليم عميق لتصنيف آفات الجلد باستخدام صور سريرية ومعلومات وصفية تم جمعها من الهواتف الذكية.الطرق: تم تطوير شبكة عصبية عميقة تحتوي على مُشفّرين (Encoders) اثنين لاستخراج المعلومات من بيانات الصور والبيانات الوصفية. وتم اقتراح وحدة دمج متعددة الوسائط (Multimodal Fusion Module) تضم انتباهًا ذاتيًا ضمن الوسيط (Intra-modality Self-attention) وانتباهًا متبادلًا بين الوسائط (Inter-modality Cross-attention)، بهدف دمج ميزات الصور وميزات البيانات الوصفية بشكل فعّال. تم تدريب النموذج واختباره على مجموعة بيانات عامة، وتم مقارنته بأساليب حديثة أخرى باستخدام التحقق المتقاطع الخمسي (Five-fold Cross-validation).النتائج: أظهرت النتائج أن إدراج البيانات الوصفية يُحسّن بشكل ملحوظ أداء النموذج. وتفوّق نموذجنا على الطرق الأخرى لدمج البيانات الوصفية من حيث الدقة (Accuracy)، والدقة المتوازنة (Balanced Accuracy)، ومساحة تحت منحنى استجابة المُكتشف (AUC)، بقيم متوسطة بلغت 0.768 ± 0.022 و 0.775 ± 0.022 و 0.947 ± 0.007 على التوالي.الاستنتاج: تم بنجاح تطوير نموذج تعليم عميق يستخدم صورًا تم جمعها عبر الهواتف الذكية والبيانات الوصفية لتشخيص آفات الجلد. وبيّن النموذج المقترح أداءً واعدًا، ويمكن أن يُصبح أداة واعدة للفحص المبكر لسرطان الجلد.