شبكات نقاط الهرم المقطوع للكشف عن الأشياء ثلاثية الأبعاد من بيانات RGB-D

في هذا البحث، ندرس اكتشاف الأجسام ثلاثية الأبعاد من بيانات RGB-D في مشاهد داخلية وخارجية على حد سواء. بينما تركز الطرق السابقة على الصور أو البكسلات ثلاثية الأبعاد، مما يخفي غالبًا الأنماط الطبيعية والثباتات ثلاثية الأبعاد للبيانات، فإننا نعمل مباشرة على السحابات النقطية الخام عن طريق رفع مسحات RGB-D. ومع ذلك، فإن التحدي الرئيسي لهذا النهج هو كيفية تحديد مواقع الأجسام بكفاءة في سحابات نقاط المشاهد الكبيرة (اقتراح المنطقة). بدلاً من الاعتماد فقط على الاقتراحات ثلاثية الأبعاد، تعتمد طريقتنا على كاشفات الأجسام ثنائية الأبعاد الناضجة والتعلم العميق الثلاثي الأبعاد المتطور لتحديد مواقع الأجسام، مما يحقق الكفاءة وكذلك نسبة استدعاء عالية حتى للأجسام الصغيرة. بفضل التعلم المباشر في السحابات النقطية الخام، تكون طريقتنا قادرة أيضًا على تقدير صناديق الحدود الثلاثية الأبعاد بدقة حتى تحت الإخفاء القوي أو مع النقاط شديدة الندرة. تم تقييم طريقتنا على مقاييس الاكتشاف الثلاثي الأبعاد لـ KITTI وSUN RGB-D، حيث أظهرت تفوقًا ملحوظًا على أحدث التقنيات مع القدرة على العمل في الوقت الحقيقي.