شبكة فرستوم الكونvolutional: تزحلق الفرستومات لجمع الخصائص النقطية المحلية لاكتشاف الأشياء ثلاثية الأبعاد الغير مرئية بالكامل

في هذا العمل، نقترح طريقة جديدة تُسمى \emph{شبكة المخروط المقطوع المت convo (F-ConvNet)} للكشف عن الأجسام ثلاثية الأبعاد بشكل غير حيزي من السحابات النقطية. بالنظر إلى اقتراحات المناطق ثنائية الأبعاد في صورة RGB، تقوم طريقتنا أولاً بإنشاء سلسلة من المخاريط المقطوعة لكل اقتراح منطقة، واستخدام هذه المخاريط لتصنيف النقاط المحلية. تقوم F-ConvNet بجمع خصائص النقاط كمتجهات ميزات على مستوى المخروط المقطوع، وترتيب هذه المتجهات كخريطة ميزات لاستخدامها في الجزء التالي من الشبكة المت convo بالكامل (FCN)، والذي يدمج ميزات مستوى المخروط المقطوع فضائيًا ويتيح تقديرًا مستمرًا ومتكاملًا للصناديق المنظمة في الفضاء ثلاثي الأبعاد. كما نقترح متغيرات مكونات F-ConvNet، بما في ذلك متغير FCN يستخرج ميزات متعددة الدقة للمخاريط المقطوعة، واستخدام محسن لـ F-ConvNet فوق فضاء ثلاثي الأبعاد مخفض. تؤكد دراسات الإلغاء الحذرة فعالية هذه المتغيرات للمكونات. لا تعتمد F-ConvNet على أي معرفة سابقة حول البيئة ثلاثية الأبعاد التي تعمل فيها وبالتالي فهي مستقلة عن مجموعة البيانات. نقدم تجارب على كل من مجموعة بيانات SUN-RGBD الداخلية ومجموعة بيانات KITTI الخارجية. تتفوق F-ConvNet على جميع الطرق الموجودة في SUN-RGBD، وفي وقت تقديم البحث كانت تتفوق على جميع الأعمال المنشورة في مقاييس KITTI. تم جعل الكود متاحًا عبر الرابط: {\url{https://github.com/zhixinwang/frustum-convnet}}.