DooDLeNet: تكامل الميزات المزدوجة المعززة بـ DeepLab للفصل الدلالي للصورة الحرارية والملونة

في هذا البحث، نقدم نهجًا جديدًا لدمج الخصائص بين الصور الملونة (RGB) والصور الحرارية ذات الطيف القريب تحت الأحمر (LWIR) لأداء مهمة التجزئة الدلالية في إدراك القيادة. نقترح استخدام DooDLeNet، وهي هندسة مزدوجة من DeepLab مع مُشفِّرات ومُفكِّكات متخصصة للطيف الحراري والملون ومشفر مشترك لإتمام عملية التجزئة. نجمع بين طريقتين لدمج الخصائص: توزيع الثقة وتوزيع الارتباط. نبلغ عن تحقيق أفضل النتائج المعروفة حتى الآن لمتوسط تقاطع على الاتحاد (mean IoU) على مجموعة بيانات MF.