شبكة نشر العلاقات المكانية والقناة لتقسيم الدلالات في الصور الملونة والحرارية

أظهر تقسيم الدلالات باستخدام الصور المركبة من الألوان الحمراء والخضراء والزرقاء (RGB) والصور الحرارية (RGB-T) إمكانات كبيرة في التعامل مع الظروف ذات الإضاءة المنخفضة، حيث يعاني تقسيم الدلالات المستند إلى صور RGB من جودة تصوير ضعيفة. ويعتمد السر في تقسيم الدلالات باستخدام RGB-T على الاستفادة الفعالة من طبيعة التكامل بين صور RGB والصور الحرارية. ومع ذلك، فإن معظم الخوارزميات الموجودة تتجاهل الفجوة بين الوسائط البصرية خلال عملية دمج الخصائص، مما يؤدي إلى تلويث المعلومات الخاصة بالوسيلة البصرية الواحدة للمعلومات الخاصة بالوسيلة البصرية الأخرى.في هذا البحث، نقترح شبكة انتشار العلاقات القنواتية والمكانية (CSRPNet) لتقسيم الدلالات باستخدام RGB-T، والتي تقوم بنشر المعلومات المشتركة فقط بين الوسائط البصرية المختلفة وتخفيف مشكلة تلويث المعلومات الخاصة بالوسائط البصرية. أولاً، تقوم شبكتنا CSRPNet بعملية انتشار العلاقات في الأبعاد القنواتية والمكانية لاستخراج الخصائص المشتركة بين الوسائط البصرية من خصائص RGB والخصائص الحرارية. ثم تقوم CSRPNet بدمج الخصائص المشتركة التي تم استخراجها من وسيلة بصرية واحدة مع الخاصية المدخلة من الوسيلة البصرية الأخرى لتعزيز الخاصية المدخلة دون حدوث مشكلة التلويث. أثناء دمجهما معًا، سيتم أيضًا تغذية الخواص المعززة للـRGB والخواص الحرارية إلى الطبقات اللاحقة لاستخراج خواص الـRGB أو الطبقات الحرارية لدمج الخواص التفاعلي.بالإضافة إلى ذلك، نقدم وحدة تكرار ميزات المسارات المزدوجة المتتابعة التي تقوم بجمع ميزات متعددة الطبقات لإنتاج ميزتين مكررتين للتنبؤ بالدلالات والحواجز. وقد أظهرت النتائج التجريبية الشاملة أن CSRPNet تؤدي بشكل أفضل مقابل أحدث الخوارزميات الموجودة.مصطلحات علمية:- RGB-Thermal (RGB-T) semantic segmentation: تقسيم الدلالات باستخدام الصور المركبة من الألوان الحمراء والخضراء والزرقاء (RGB) والصور الحرارية (T)- Channel and Spatial Relation-Propagation Network (CSRPNet): شبكة انتشار العلاقات القنواتية والمكانية (CSRPNet)- modality gap: فجوة الوسائط البصرية- modality-specific information contamination: تلويث المعلومات الخاصة بالوسائط البصرية- relation-propagation: انتشار العلاقات- multi-layer features: ميزات متعددة الطبقات- dual-path cascaded feature refinement module: وحدة تكرار ميزات المسارات المزدوجة المتتابعة