كشف الكائن المميز RGB-D الدقيق من خلال التعلم التعاوني

بفضل المعلومات المكانية المضمنة في الصور العمقية، أظهر التقدم الأخير في الكشف عن المناطق البارزة باستخدام الصور الملونة (RGB-D) قدرة ملحوظة في بعض السيناريوهات الصعبة. ومع ذلك، لا تزال هناك قيودتان رئيسيتان. من ناحية، قد تؤدي عمليات التجميع (pooling) والرفع (upsampling) في الشبكات العصبية ذات التوصيل الكامل (FCNs) إلى تعتيم حدود الكائنات. ومن ناحية أخرى، قد يؤدي استخدام شبكة عمق إضافية لاستخراج ميزات العمق إلى تكاليف عالية في الحوسبة والتخزين. كما أن الاعتماد على مدخلات العمق أثناء الاختبار يحد من التطبيقات العملية للنماذج الحالية التي تعتمد على RGB-D. في هذه الورقة، نقترح إطارًا تعلميًا متعاونًا جديدًا، حيث يتم الاستفادة من الحواف، والعمق، والمناطق البارزة بطريقة أكثر كفاءة، مما يعالج هذه المشكلات بذكاء. تُستخدم المعلومات الحادة المستخرجة صراحةً مع المناطق البارزة لتعزيز المناطق البارزة وحدود الكائنات بشكل أكبر. كما تم دمج تعلم العمق وتعلم المناطق البارزة بشكل مبتكر في عملية تعلم الميزات عالية المستوى بطريقة متبادلة المكاسب. هذا الاستراتيجية تتيح للشبكة أن تعمل دون الحاجة إلى شبكات عمق إضافية أو مدخلات عمق أثناء التنبؤ. وبهذا، يجعل نموذجنا أخف وزنًا، وأسرع، وأكثر مرونة. وتُظهر نتائج التجارب على سبعة مجموعات بيانات معيارية أداءً متفوقًا.