شبكة تجميع التوجيه الحساسة للحافة لتحليل المشهد باللونين الأحمر والحراري

حصل التحليل المكاني للمناظر باستخدام الصور الملونة (RGB) والحرارية مؤخرًا على اهتمام بحثي متزايد في مجال رؤية الحاسوب. ومع ذلك، تفشل معظم الطرق الحالية في تحقيق استخلاص دقيق للحدود في خرائط التنبؤ، ولا تستفيد بالكامل من السمات عالية المستوى. علاوة على ذلك، تقوم هذه الطرق بدمج السمات من الوسائط RGB والحرارية بشكل بسيط، مما يمنعها من استخلاص سمات مدمجة شاملة. ولحل هذه المشكلات، نقترح شبكة توليد توجيه حساس للحدود (EGFNet) لتحليل المشاهد باستخدام الصور الملونة والحرارية. أولاً، نُدخل خريطة حدود أولية تم إنشاؤها باستخدام الصور الملونة والحرارية لالتقاط المعلومات التفصيلية في خريطة التنبؤ، ثم نُدمج معلومات الحدود الأولية في خرائط السمات. ولضمان دمج فعّال بين معلومات RGB والحرارية، نقترح وحدة دمج متعددة الوسائط تضمن دمجًا كافيًا بين الوسائط المختلفة. مع اعتبار أهمية المعلومات الدلالية عالية المستوى، نقترح وحدة معلومات عالمية ووحدة معلومات دلالية لاستخراج معلومات دلالية غنية من السمات عالية المستوى. أما في مرحلة التفكيك، فنستخدم الجمع العنصري البسيط لدمج السمات المتسلسلة. وأخيرًا، لتحسين دقة التحليل، نطبّق مراقبة عميقة متعددة المهام على خرائط الدلالة والحدود. أُجريت تجارب واسعة على مجموعات بيانات معيارية لإثبات فعالية الشبكة المقترحة EGFNet، وتم التأكيد على أدائها المتفوق مقارنة بالطرق الرائدة في المجال. يمكن العثور على الشفرة والنتائج على الرابط التالي: https://github.com/ShaohuaDong2021/EGFNet.