شبكة الكشف عن الأشياء ثلاثية الأبعاد متعددة الزوايا للقيادة الذاتية

يهدف هذا البحث إلى تحقيق كشف ثلاثي الأبعاد بدقة عالية في سيناريو القيادة الذاتية. نقترح شبكات متعددة الآراء ثلاثية الأبعاد (MV3D)، وهي إطار للدمج الحسي يستخدم كل من سحابة نقاط الليدار (LIDAR) والصور ثنائية الأبعاد (RGB) كمدخلات ويتنبأ بصناديق حدودية موجهة ثلاثية الأبعاد. نقوم بتشفير السحابة النقطية الثلاثية الأبعاد النادرة باستخدام تمثيل متعدد الآراء مضغوط. تتكون الشبكة من شبكتين فرعيتين: واحدة لإنشاء اقتراحات الأجسام ثلاثية الأبعاد، وأخرى لدمج الخصائص المتعددة الآراء. تقوم شبكة الاقتراح بإنشاء صناديق مرشحة ثلاثية الأبعاد بكفاءة من خلال التمثيل العرضي للسحابة النقطية الثلاثية الأبعاد. قمنا بتصميم مخطط دمج عميق لدمج الخصائص الإقليمية من آراء متعددة وتمكين التفاعلات بين الطبقات الوسيطة لمسارات مختلفة. أظهرت التجارب على المعيار الصعب KITTI أن نهجنا يتفوق على أفضل الأساليب الحالية بنسبة حوالي 25٪ و30٪ في مؤشر الدقة (AP) في مهمتي تحديد الموقع ثلاثي الأبعاد وكشف الأجسام ثلاثية الأبعاد. بالإضافة إلى ذلك، بالنسبة لكشف الأجسام ثنائية الأبعاد، يحصل نهجنا على نسبة دقة أعلى بنسبة 10.3٪ من أفضل الأساليب الحالية في البيانات الصعبة ضمن طرق الليدار (LIDAR).