Mask3D: مُحَوِّل الأقنعة للتمييز الدلالي ثلاثي الأبعاد للمؤسسات

تستند النُّهُج الحديثة لتقسيم المثيلات الدلالية ثلاثية الأبعاد بشكل أساسي إلى آليات التصويت المتخصصة متبوعة بأساليب التجميع الهندسية المصممة بعناية. مستفيدين من نجاحات الطرق القائمة على الترانسفورمر في اكتشاف الكائنات وتقسيم الصور، نقترح أول نهج قائم على الترانسفورمر لتقسيم المثيلات الدلالية ثلاثية الأبعاد. نوضح أننا يمكن أن نستفيد من الوحدات الأساسية العامة للترانسفورمر للتنبؤ المباشر بأقنعة المثيلات من السحب النقطية ثلاثية الأبعاد. في نموذجنا الذي يُسمى Mask3D، يتم تمثيل كل مثال كائن كاستعلام عن مثال. باستخدام محكِّمات الترانسفورمر، يتم تعلم الاستعلامات عن المثيلات عن طريق الانتباه المتكرر إلى خصائص السحابة النقطية بمقياس متعدد. عند دمجها مع خصائص النقاط، تنتج الاستعلامات عن المثيلات جميع أقنعة المثيلات بشكل متوازي.يتمتع Mask3D بعدة مزايا على أفضل الأساليب الحالية، حيث أنه لا يعتمد على (1) آليات التصويت التي تتطلب خصائص هندسية مختارة باليد (مثل المراكز)، أو (2) آليات التجميع الهندسي التي تتطلب ضبط معاملات فائقة يدويًا (مثل الأشعاع)، أو (3) يتيح خسارة تحسن مباشرة أقنعة المثيلات. حقق Mask3D مستوى جديدًا من الطليعية في اختبار ScanNet (+6.2 mAP)، اختبار S3DIS ستة الأضعاف (+10.1 mAP)، STPLS3D (+11.2 mAP) واختبار ScanNet200 (+12.4 mAP).