الشبكات العصبية الرسومية المتسلسلة للكشف عن الكائنات البارزة من صور RGB-D

في هذه الورقة، نُدرِس مشكلة اكتشاف الكائنات البارزة (SOD) في الصور RGB-D باستخدام معلومات اللون والعمق معًا. يمثل التحدي التقني الرئيسي في تنفيذ اكتشاف الكائنات البارزة من الصور RGB-D كيفية الاستفادة الكاملة من مصدري البيانات المكملين. تُركّز الدراسات الحالية إما على استخلاص المعرفة المسبقة من الخريطة العمقية المقابلة لمعالجة الصورة RGB، أو على دمج العمليات بشكل أعمى بين المعلومات اللونية والهندسية لتكوين تمثيلات خشنة مُدركة للعمق، مما يحد من أداء كاشفات البارزة في الصور RGB-D. في هذا العمل، نقدّم إطارًا موحدًا يُسمى الشبكات العصبية الرسومية المتسلسلة (Cas-Gnn)، الذي يُمكنه استخلاص وتحليل الفوائد المتبادلة بين هذين المصدرَين بشكل شامل من خلال مجموعة من الرسوم المتسلسلة، بهدف تعلُّم تمثيلات قوية للكشف عن الكائنات البارزة في الصور RGB-D. يقوم Cas-Gnn بمعالجة المصدرَين بشكل منفصل، ويستخدم وحدة تفكير رسومي متسلسلة (CGR) مبتكرة لتعلم تمثيلات مكثفة قوية، من خلالها يمكن استخلاص خريطة البارزة بسهولة. على عكس النهج السابقة، فإن نمذجة وتحليل العلاقات عالية المستوى بشكل صريح بين مصادر البيانات المكملة يمكّننا من التغلب بشكل أفضل على التحديات مثل التغطية (الإغلاق) والغموض. تُظهر التجارب الواسعة أن Cas-Gnn يحقق أداءً أفضل بشكل ملحوظ مقارنةً بجميع الطرق الحالية للكشف عن البارزات في الصور RGB-D على عدة معايير شائعة الاستخدام.