اختيار، تكملة، وتركيز للكشف عن الاهتمام البصري في الصور الملونة ذات الأبعاد العميقة

أثبتت بيانات العمق التي تحتوي على قدرة تمييزية عالية في تحديد الموقع فائدتها في التنبؤ الدقيق بالملحوظية. ومع ذلك، فإن طرق الكشف عن الملحوظية باستخدام الصور الملونة والعمق (RGB-D) تتضرر أيضًا سلبًا من المناطق الخاطئة أو المفقودة التي توزع عشوائيًا على خريطة العمق أو على حدود الكائنات. ويتيح هذا الفرصة لتحقيق استنتاج أكثر فعالية من خلال نماذج مصممة بعناية. في هذه الورقة، نقترح إطارًا جديدًا للكشف الدقيق عن الملحوظية باستخدام RGB-D، مع أخذ التكامل المحلي والعالمي من كلا الموداليتين بعين الاعتبار. ويتم تحقيق ذلك من خلال تصميم نموذج تفاعلي متكامل يمتلك قدرة تمييز كافية لاختيار التمثيلات المفيدة من بيانات الصور الملونة والعمق في آنٍ واحد، وفي الوقت نفسه لتحسين حدود الكائنات. علاوةً على ذلك، قمنا باقتراح دالة خسارة واعية بالتعويض، لمعالجة المعلومات التي لم تُؤخذ بعين الاعتبار في نموذج التفاعل المتكامل، مما يؤدي إلى تحسين قدرة التعميم في المشاهد الصعبة. وأظهرت التجارب على ستة مجموعات بيانات عامة أن طريقةنا تتفوق على 18 من أحدث الطرق المتميزة في المجال.