التحليل الشمولي ثلاثي الأبعاد الفعّال باستخدام محول النقاط الفائقة

نقدّم معمارية جديدة تعتمد على "النقطة الفائقة" (superpoint) وتحتاج إلى نموذج تحويلي (transformer) لتحسين التصنيف الدلالي لمشاهد ثلاثية الأبعاد كبيرة الحجم. تعتمد طريقتنا على خوارزمية سريعة لتقسيم السحابات النقطية إلى هيكل هرمي من النقاط الفائقة، مما يجعل عملية ما قبل المعالجة أسرع بـ 7 مرات مقارنة بالطرق القائمة على النقاط الفائقة الحالية. علاوةً على ذلك، نستفيد من آلية الانتباه الذاتي (self-attention) لالتقاط العلاقات بين النقاط الفائقة على مقاييس متعددة، مما يؤدي إلى أداء متميز على ثلاث مجموعات بيانات تحديّة: S3DIS (76.0% mIoU في التحقق باستخدام 6 أضعاف)، وKITTI-360 (63.5% في التحقق)، وDALES (79.6%). وباستخدام فقط 212 ألف معلمة، تكون طريقتنا أصغر بنسبة تصل إلى 200 مرة مقارنةً بالنماذج الرائدة الأخرى، مع الحفاظ على أداء مشابه. بالإضافة إلى ذلك، يمكن تدريب نموذجنا على وحدة معالجة رسومية واحدة خلال 3 ساعات فقط لدورة واحدة من مجموعة بيانات S3DIS، وهو ما يمثل تقليلًا بنسبة 7 إلى 70 مرة في عدد ساعات وحدات المعالجة الرسومية مقارنةً بأفضل الطرق الأداء. يمكن الوصول إلى الكود والنماذج الخاصة بنا من خلال الرابط: github.com/drprojects/superpoint_transformer.