اكتشاف الكائنات البارزة باستخدام صور RGB-D مع وعي شامل للهدف

تهدف طرق الكشف التقليدية عن الأشياء البارزة باستخدام بيانات RGB-D إلى الاستفادة من العمق كمعلومات مكملة لاكتشاف المناطق البارزة في كلتا الوسيلتين. ومع ذلك، تعتمد نتائج الكشف عن الأشياء البارزة بشكل كبير على جودة البيانات العميقة الملتقطة، والتي قد تكون غير متاحة أحيانًا. في هذا العمل، نقوم بالمحاولة الأولى لحل مشكلة الكشف عن الأشياء البارزة باستخدام إطار عمل جديد يعتمد على الوعي بالعمق. يعتمد هذا الإطار فقط على بيانات RGB في مرحلة الاختبار، مع استخدام البيانات العميقة الملتقطة كإشراف لتعلم التمثيل.لبناء إطاراتنا وتحقيق نتائج دقيقة في الكشف عن الأشياء البارزة، نقترح شبكة وعي الهدف الشامل (UTA) لحل ثلاثة تحديات مهمة في مهمة الكشف عن الأشياء البارزة باستخدام بيانات RGB-D:1) وحدة وعي العمق لاستخراج المعلومات العميقة وكشف المناطق الغامضة عبر أوزان خطأ عمق متكيفة.2) تفاعل مكاني بين الوسائط وتفاعل مستويات القنوات بين الوسائط، حيث يتم استغلال مؤشرات الحدود من المستوى المنخفض وتضخيم القنوات البارزة من المستوى العالي.3) وحدة تنبؤ متعددة المقاييس ببوابات للإدراك السالنت للأجسام في مقاييس سياقية مختلفة.بالإضافة إلى أدائه العالي، فإن شبكتنا المقترحة UTA خالية من العمق عند الاستدلال وتعمل في الوقت الفعلي بمعدل 43 صورة في الثانية. تؤكد الأدلة التجريبية أن شبكتنا المقترحة ليس فقط تتفوق على أفضل الأساليب الحالية بأكثر من هامش كبير على خمس قواعد بيانات عامة للكشف عن الأشياء البارزة باستخدام بيانات RGB-D، بل إنها أيضًا تثبت قابلية توسيعها على خمس قواعد بيانات عامة للكشف عن الأشياء البارزة باستخدام بيانات RGB.