RTFNet: شبكة دمج الألوان والحرارة لتقسيم الدلالة للمشاهد الحضرية

التصنيف الدلالي يُعدّ قدرة أساسية للمركبات ذاتية القيادة. وبفضل التطورات في تقنيات التعلم العميق، تم اقتراح العديد من الشبكات الفعّالة للتصنيف الدلالي في السنوات الأخيرة. ومع ذلك، تم تصميم معظمها باستخدام صور RGB من الكاميرات المرئية. وتكمن مشكلة جودة صور RGB في تعرضها للتأثر السلبي في ظروف الإضاءة غير المثالية، مثل الظلام أو انعكاسات أضواء المركبات المُتّجهة نحوها، مما يُشكّل تحديات جوهرية للشبكات التي تعتمد فقط على صور RGB. على عكس الكاميرات المرئية، تُنتج كاميرات التصوير الحراري صورًا باستخدام الإشعاعات الحرارية، وتُتيح رؤية فعّالة في مختلف ظروف الإضاءة. ولتمكين تصنيف دلالي قوي ودقيق للمركبات ذاتية القيادة، نستفيد من صور التصوير الحراري، ونُدمج معلومات RGB والتصوير الحراري معًا في شبكة عصبية عميقة مبتكرة. وتشكل الابتكار الرئيسي في هذه الورقة معمارية الشبكة المقترحة. حيث نعتمد مفهوم التصميم المُشفّر-المُعاد تكوينه (encoder–decoder)، ونستخدم معمارية ResNet لاستخراج الميزات، ونطوّر مُعادلًا جديدًا لإعادة تكوين دقة خريطة الميزات. وقد أثبتت النتائج التجريبية أن شبكتنا تتفوّق على أحدث التقنيات الحالية.