الانتشار الثنائي الاتجاه للميزات عبر الوسائط مع بوابة الفصل والتدوير للتحليل الدلالي RGB-D

أثبتت المعلومات العميقة كمؤشر مفيد في التصنيف الدلالي للصور RGB-D من خلال توفير مقابل هندسي للتمثيل RGB. وغالبًا ما تفترض الدراسات الحالية أن قياسات العمق دقيقة وموافقة تمامًا مع بكسلات RGB، وتُعامل المشكلة كدمج ميزات عبر الوسائط بهدف الحصول على تمثيلات ميزات أفضل لتحقيق تصنيف أكثر دقة. لكن هذا النهج قد لا يؤدي إلى نتائج مرضية، حيث إن بيانات العمق الفعلية غالبًا ما تكون مشوّشة، مما قد يُضعف الدقة مع تعمق الشبكة.في هذه الورقة، نقترح مُشغّلًا موحدًا وفعالًا عبر الوسائط (Cross-modality Guided Encoder) قادرًا على إعادة ضبط استجابات ميزات RGB بشكل فعّال، بالإضافة إلى استخلاص معلومات عمق دقيقة عبر مراحل متعددة، وجمع التمثيلين المُعاد ضبطهما بشكل متناوب. وتشكل العمليّة الجديدة المُسمّاة "الانفصال والجمع التوجيهي" (Separation-and-Aggregation Gating) العمود الفقري للهيكل المقترح، حيث تقوم بتصفية وإعادة ضبط كلا التمثيلين معًا قبل عملية الدمج عبر الوسائط. وفي الوقت نفسه، نقدّم استراتيجية تفاعل ثنائي الاتجاه متعددة الخطوات (Bi-direction Multi-step Propagation)، والتي تساعد في نقل ودمج المعلومات بين الوسائط من جهة، وتحافظ على خصوصية كل وسائط خلال عملية الانتشار الطويلة من جهة أخرى. علاوة على ذلك، يمكن دمج المشغل المقترح بسهولة في الهياكل السابقة من نوع المشغل-النافذة (encoder-decoder) لتعزيز أدائها في التصنيف الدلالي للصور RGB-D. وتفوق نموذجنا النماذج الحالية في جميع البيانات المُحَدَّدة الصعبة، سواء داخل الأماكن أو خارجها. يُمكن الوصول إلى الشيفرة المصدرية لهذا العمل عبر الرابط: https://charlescxk.github.io/