هيكل مزدوج متماثل غير متماثل للكشف الدقيق عن الانتباه في الصور الملونة وصور العمق RGB-D

تُعتمد معظم الطرق الحالية للكشف عن الانتباه في الصور الملونة (RGB) والعمق (D) على هندسة مزدوجة التدفق متماثلة لتعلم تمثيلات مميزة للصورة الملونة والعمق. في الواقع، هناك مستوى آخر من الغموض غالبًا ما يُهمل: هل من الضروري دمج بيانات RGB والعمق داخل نفس الشبكة العصبية؟ في هذه الورقة، نقترح هندسة مزدوجة التدفق غير متماثلة تأخذ بعين الاعتبار الفروق الجوهرية بين بيانات RGB والعمق للكشف عن الانتباه. أولاً، نصمم وحدة سلمية للتدفق RGB (FLM) لاستخراج شامل للمعلومات العالمية والمحليّة مع الحفاظ على تفاصيل الانتباه. يتم ذلك من خلال بناء أربع فروع نقل التفاصيل، حيث تحافظ كل فرع على معلومات التفاصيل وتحصل على معلومات الموقع العالمي من تمثيلات الفروع المتوازية العمودية الأخرى بطريقة تطورية. ثانيًا، نقترح وحدة انتباه عمق جديدة (DAM) لضمان الاستفادة الفعّالة من ميزات العمق ذات القدرة التمييزية العالية في الموقع والهيكل المكاني عند دمجها مع ميزات RGB في المشاهد الصعبة. كما يمكن لميزات العمق أن توجه بشكل تمييزي ميزات RGB عبر وحدة DAM المقترحة لتحديد مواقع الأجسام البارزة بدقة. تُظهر التجارب الواسعة أن طريقة العمل لدينا تحقق أداءً متفوقًا مقارنة بـ 13 من الطرق الحديثة في مجال RGB-D على 7 مجموعات بيانات. سيتم إتاحة الكود الخاص بنا للعامة.