M3D-RPN: شبكة اقتراح المناطق ثلاثية الأبعاد للكشف عن الكائنات من خلال الصورة الأحادية

فهم العالم ثلاثي الأبعاد هو مكون أساسي في القيادة الحضرية الذاتية. عمومًا، كان الجمع بين أجهزة استشعار ليدار (LiDAR) المكلفة والتصوير الثنائي البعد باللون الأحمر والأخضر والأزرق (RGB) حاسمًا لنجاح خوارزميات الكشف عن الأجسام ثلاثية الأبعاد، بينما تواجه الأساليب التي تعتمد فقط على الصور أحادية البعد انخفاضًا كبيرًا في الأداء. نقترح تقليص هذا الفجوة من خلال إعادة صياغة مشكلة الكشف عن الأجسام ثلاثية الأبعاد باستخدام صورة واحدة كشبكة اقتراح المناطق ثلاثية الأبعاد المستقلة. نستفيد من العلاقة الهندسية بين المنظورات ثنائية وثلاثية الأبعاد، مما يسمح للأطر الثلاثية الأبعاد باستغلال الخصائص التلافيفية المعروفة والقوية التي تُولَّد في فضاء الصورة. للمساعدة في معالجة التقديرات الثلاثية الأبعاد الصعبة، نصمم طبقات تلافيفية واعية للعمق التي تمكِّن من تطوير خصائص محددة للموقع وبالتالي تحسين فهم المشهد ثلاثي الأبعاد. مقارنة بالأعمال السابقة في مجال الكشف عن الأجسام ثلاثية الأبعاد باستخدام صورة واحدة، يتكون أسلوبنا فقط من الشبكة المقترحة لاقتراح المناطق ثلاثية الأبعاد بدلاً من الاعتماد على شبكات أو بيانات أو مراحل متعددة خارجية. يمكن لمجموعة M3D-RPN أن تحسن بشكل كبير أداء كلٍ من مهمة الكشف عن الأجسام ثلاثية الأبعاد باستخدام صورة واحدة ومهمة العرض الجوي الطائر (Bird's Eye View) ضمن مجموعة بيانات KITTI للقيادة الحضرية الذاتية، مع استخدام كفاءة نموذج متعدد الفئات مشترك.