كشف الكائنات ثلاثية الأبعاد المُشَغَّل بـ 2D في الصور RGB-D

في هذه الورقة، نقدم تقنية تضع صناديق حدود ثلاثية الأبعاد حول الكائنات في مشهد RGB-D. تعتمد طريقة عملنا على الاستفادة القصوى من المعلومات ثنائية الأبعاد لتقليل فضاء البحث ثلاثي الأبعاد بشكل سريع، مع الاستفادة من تقنيات كشف الكائنات ثنائية الأبعاد المتطورة. ثم نستخدم المعلومات ثلاثية الأبعاد لتوجيه ووضع وتقدير درجات الصناديق الحدودية حول الكائنات. نقوم بتقدير اتجاه كل كائن بشكل مستقل، باستخدام تقنيات سابقة تعتمد على معلومات الاتجاهات (النورمال). ونُدرّب مواقع وأحجام الكائنات في الفضاء ثلاثي الأبعاد باستخدام شبكة عصبية متعددة الطبقات (MLP). في المرحلة النهائية، نُحسّن كشف الكائنات بناءً على علاقات الفئة بين الكائنات داخل المشهد. وعند مقارنة النتائج مع أفضل طرق الكشف التي تعمل تقريبًا بالكامل في المجال ثلاثي الأبعاد النادر (النادر نسبيًا)، تُظهر التجارب الواسعة على مجموعة بيانات SUN RGB-D الشهيرة أن الطريقة المقترحة أسرع بشكل كبير (4.1 ثانية لكل صورة) في كشف الكائنات ثلاثية الأبعاد في الصور RGB-D، وتحقيق أداءً أفضل بمقدار 3 نقاط في متوسط الدقة (mAP) مقارنة بالطريقة الأفضل حالياً التي تُعد أبطأ بـ 4.7 مرة، وأداءً مماثلاً للطريقة التي تُعد أبطأ بعشرات المرات (بمقدار رتبتين من الترتيب العددي). تشير هذه الدراسة إلى أن اتجاه كشف الكائنات المُشَغَّل ثنائية الأبعاد في الفضاء ثلاثي الأبعاد يستحق استكشافه أكثر، خصوصًا في الحالات التي يكون فيها المدخل ثلاثي الأبعاد نادرًا.