شبكة الاندماج المكاني المتبقية لتقسيم الدلالات بين الصور البصرية والحرارية

التفصيل الدلالي (Semantic Segmentation) يلعب دورًا مهمًا في التطبيقات الشائعة مثل القيادة الذاتية واحساس الروبوتات. تستخدم الأساليب التقليدية غالبًا صور RGB التي تتأثر بشدة بالظروف الإضاءة، مثل الظلام. أظهرت الدراسات الحديثة أن الصور الحرارية قوية في السيناريو الليلي كنمط تعويضي للتفصيل. ومع ذلك، إما أن تقوم الأعمال الحالية بدمج صور RGB-Thermal (RGB-T) بشكل بسيط أو تتبنى مُشفِّرًا له نفس الهيكل لكل من مسار RGB ومسار الصورة الحرارية، مما يتجاهل الاختلاف بين النمطين في التفصيل تحت ظروف الإضاءة المتغيرة. لذلك، تقترح هذه الدراسة شبكة دمج فضائي متبقية (Residual Spatial Fusion Network - RSFNet) للتفصيل الدلالي لصور RGB-T. بشكل خاص، نستخدم مُشفِّرًا غير متماثل لتعلم الخصائص التعويضية لصور RGB والصور الحرارية. لتحقيق دمج فعال للخصائص ثنائية النمط، نولد العلامات الوهمية عن طريق اكتشاف الأجزاء المميزة لإشراف تعلم الخصائص، ونطور وحدة الدمج الفضائي المتبقية (RSF) مع إعادة تشكيل هيكلية لتعلم خصائص أكثر وعودًا من خلال دمج الخصائص عبر النمطيات فضائيًا. يستخدم RSF دمجًا هرميًا للخصائص لتجميع الخصائص متعددة المستويات، ويطبق الأوزان الفضائية مع الاتصال المتبقى لتحكم تكيفي في دمج الخواص متعددة الطيف بواسطة بوابة الثقة. تم إجراء تجارب واسعة على قاعدتين للمعايير، وهما قاعدة بيانات MFNet وقاعدة بيانات PST900. أظهرت النتائج أداءً رائدًا في التفصيل باستخدام طريقتنا، والتي حققت توازنًا جيدًا بين الدقة والسرعة.