SPGroup3D: شبكة تجميع النقاط الفائقة للكشف عن الأجسام ثلاثية الأبعاد في الأماكن المغلقة

تتبع الطرق الحالية للكشف عن الكائنات ثلاثية الأبعاد في المشاهد الداخلية استراتيجية التصويت والتجزئة لإنشاء الاقتراحات. ومع ذلك، تستخدم معظم هذه الطرق تجزئة غير مرتبطة بالكائن (instance-agnostic)، مثل استعلام الكرة (ball query)، مما يؤدي إلى معلومات دلالية غير متسقة وانحراف في التقدير (regression) للاقتراحات. ولحل هذه المشكلة، نقترح شبكة تجزئة جديدة تعتمد على "النقطة الفائقة" (superpoint grouping network) للكشف عن الكائنات ثلاثية الأبعاد من المرحلة الواحدة بدون محددات (anchor-free) في البيئات الداخلية. بشكل محدد، نبدأ بتطبيق طريقة غير مراقبة (unsupervised) لتقسيم السحابة النقطية الأصلية إلى "نقط فائقة"، وهي مناطق تميز بالاتساق الدلالي والتشابه المكاني. ثم نصمم وحدة تصويت واعية بالهندسة (geometry-aware voting module) تتكيف مع مفهوم "المركزية" (centerness) في الكشف بدون محددات من خلال تقييد العلاقة المكانية بين النقاط الفائقة ومركبات الكائنات. بعد ذلك، نقدم وحدة تجزئة قائمة على النقط الفائقة لاستكشاف التمثيل الموحّد داخل الاقتراحات. وتتضمن هذه الوحدة طبقة انتباه للنقط الفائقة لتعلم التفاعل بين النقط الفائقة المجاورة، وطبقة اندماج بين النقط الفائقة والبكسلات (superpoint-voxel fusion layer) لنقل المعلومات من مستوى النقطة الفائقة إلى مستوى البكسل. وأخيرًا، نستخدم عملية مطابقة متعددة فعّالة للاستفادة من مجالات الاستقبال الديناميكية للاقتراحات القائمة على النقط الفائقة أثناء التدريب. تُظهر النتائج التجريبية أن طريقةنا تحقق أداءً من الدرجة الأولى (state-of-the-art) على مجموعات بيانات ScanNet V2 وSUN RGB-D وS3DIS في الكشف عن الكائنات ثلاثية الأبعاد من المرحلة الواحدة في البيئات الداخلية. ويمكن الوصول إلى الشفرة المصدرية من خلال الرابط التالي: https://github.com/zyrant/SPGroup3D.