شبكة تكامل واعية بالتكامل التدريجي للكشف عن الكائنات البارزة في الصور الملونة وصور العمق

كيفية دمج التكميلية عبر النماذج بشكل كافٍ يُعد السؤال المحوري في الكشف عن الكائنات البارزة باستخدام بيانات RGB-D. اقتصرت الدراسات السابقة على معالجة هذه المسألة من خلال دمج ميزات متعددة النماذج بشكل بسيط أو من خلال دمج التنبؤات الأحادية النموذج. في هذه الورقة، نتناول هذا السؤال من زاويتين: (1) نُقدّم رأياً يفيد بأن إن تم نمذجة الجزء التكميلي بشكل أكثر وضوحاً، فمن المرجح أن يتم التقاط التكميلية عبر النماذج بشكل أفضل. ولتحقيق ذلك، قمنا بتصميم وحدة جديدة تُعرف بـ "الدمج المُدرك للتكميلية" (CA-Fuse) عند استخدام الشبكات العصبية التلافيفية (CNN). من خلال إدخال دوال باقي التكامل عبر النماذج والرقابة المُدركة للتكميلية داخل كل وحدة CA-Fuse، يتم صياغة مشكلة تعلّم المعلومات التكميلية من النموذجين المتزامنين بشكل صريح كمهمة تقريب تدريجي للدالة الباقيّة. (2) استكشاف التكامل عبر جميع مستويات الشبكة. من خلال تسلسل وحدات CA-Fuse وتطبيق رقابة على المستويات من العميقة إلى السطحية بشكل كثيف، يمكن اختيار التكامل عبر المستويات ودمجه تدريجياً. يُمكّن الشبكة المقترحة للدمج RGB-D من تفكيك عمليتي الدمج عبر النماذج والمستويات، مما يتيح نتائج دمج أكثر كفاية. أظهرت التجارب على مجموعات بيانات عامة فعالية الوحدة CA-Fuse المقترحة والشبكة المُقترحة للكشف عن الكائنات البارزة باستخدام بيانات RGB-D.