ACNet: شبكة مستندة إلى الانتباه لاستغلال الخصائص المكملة في تقسيم الدلالة للصور RGBD

مقارنة بتقسيم المعنى للصور RGB، يمكن لتقسيم المعنى للصور RGBD تحقيق أداء أفضل من خلال الأخذ في الاعتبار معلومات العمق. ومع ذلك، لا تزال هناك مشكلة بالنسبة للمقاسمات الحديثة في استغلال المعلومات RGBD بكفاءة نظرًا لتباين توزيعات الخصائص بين صور RGB والعمق (D) بشكل كبير في المشاهد المختلفة. في هذا البحث، نقترح شبكة مكملة بالانتباه (ACNet) تقوم بتجميع الخصائص انتقائيًا من فروع RGB والعمق. تكمن المساهمات الرئيسية في وحدة الانتباه المكمل (ACM) والهيكل الذي يحتوي على ثلاث فروع متوازية. وبشكل أكثر دقة، ACM هي وحدة تعتمد على انتباه القنوات وتستخرج خصائص ذات وزن من فرعي RGB والعمق. يحافظ الهيكل على الاستدلال للفروع الأصلية لـ RGB والعمق، وفي الوقت نفسه يمكّن الفرع المدمج. بناءً على هذه الهياكل، تكون الشبكة ACNet قادرة على استغلال المزيد من الخصائص عالية الجودة من القنوات المختلفة. نقيم نموذجنا على مجموعتي بيانات SUN-RGBD وNYUDv2، ونبين أن نموذجنا يتفوق على الأساليب الرائدة حاليًا. وبشكل خاص، تم تحقيق درجة mIoU قدرها 48.3٪ على مجموعة اختبار NYUDv2 باستخدام ResNet50. سنقوم بإصدار شفرتنا المصدرية المستندة إلى PyTorch والنماذج المدربة للتقسيم في https://github.com/anheidelonghu/ACNet.