IGFNet: شبكة تجميع موجهة بالإضاءة لفهم المشهد الدلالي باستخدام صور RGB-حرارية

يُعد فهم المشهد الدلالي مهمة أساسية للقيادة الذاتية، حيث يُشكل حجر الأساس لعدة مهام لاحقة. في ظل ظروف إضاءة صعبة، يمكن للصور الحرارية أن تُوفّر معلومات مكملة للصور الملونة (RGB). تم اقتراح العديد من الشبكات متعددة الوسائط التي تُستخدم بيانات RGB-حرارية لفهم المشهد الدلالي. ومع ذلك، فإن الطرق الحالية المتطورة تستخدم شبكات لدمج الميزات عبر الوسائط المختلفة بشكل غير مبرر، بدلاً من تصميم طريقة دمج تأخذ بعين الاعتبار الخصائص الجوهرية للصور RGB والصور الحرارية. ولحل هذه المشكلة، نُقدّم IGFNet، وهي شبكة تُوجَّه بالإضاءة لدمج بيانات RGB-حرارية لفهم المشهد الدلالي، وتستخدم قناعًا للوزن يتم إنشاؤه بواسطة وحدة تقدير الإضاءة لتحديد أوزان خرائط الميزات الخاصة بالصور RGB والحرارية في مراحل مختلفة. أظهرت النتائج التجريبية أن شبكتنا تتفوّق على الطرق المتطورة الحالية على مجموعة بيانات MFNet. يمكن الوصول إلى الكود الخاص بنا عبر: https://github.com/lab-sun/IGFNet.