شبكة ذات تدفق واحد للكشف الصلب والفعّال عن الكائنات البارزة باستخدام الصور الملونة وبيانات العمق (RGB-D)

تتركز الطرق الحالية لتحديد الكائنات المميزة في الصور RGB-D على التكامل بين تدفق الصورة الملونة (RGB) وتدفق العمق، دون استكشاف عميق لدور خريطة العمق نفسها. في هذا العمل، نصمم شبكة ذات تدفق واحد تستخدم خريطة العمق مباشرة لتوجيه التكامل المبكر والتكامل المتوسط بين الصورة الملونة والعمق، مما يوفر الحاجة إلى مشغل الميزات الخاص بتدفق العمق، ويحقق نموذجًا خفيفًا وسريعًا في الزمن الحقيقي. ونستفيد بذكاء من معلومات العمق من منظورين: (1) لتجاوز مشكلة عدم التوافق الناتجة عن الفرق الكبير بين الأنواع، نبني مشغلًا أحادي التدفق لتحقيق التكامل المبكر، الذي يمكنه الاستفادة الكاملة من النموذج الأساسي المُدرّب مسبقًا على ImageNet لاستخراج ميزات غنية وتمييزية. (2) نصمم وحدة انتباه مزدوجة مُعززة بالعُمق (DEDA) جديدة، لتوفير ميزات مُفلترة فراغيًا للفرعين الأمامي والخلفي بشكل فعّال، مما يمكّن المشفر من أداء التكامل المتوسط بشكل مثالي. علاوة على ذلك، نقترح وحدة استخراج ميزات مُعتمدة على الهيكل الهرمي (PAFE) لتحديد مواقع الكائنات بدقة على مختلف المقاييس. تُظهر التجارب الواسعة أن النموذج المقترح يتفوّق على معظم الطرق الرائدة في المجال وفقًا لمختلف مقاييس التقييم. بالإضافة إلى ذلك، فإن هذا النموذج أخف بنسبة 55.5٪ مقارنة بأخف نموذج موجود حاليًا، ويعمل بسرعة زمنية حقيقية تبلغ 32 إطارًا في الثانية عند معالجة صورة بحجم $384 \times 384$.