Transformer مُتَعَلِّق بـ Superpoint للفصل التلقائي للوحدات في المشاهد ثلاثية الأبعاد

تُحقّق معظم الطرق الحالية التجزئة الثلاثية الأبعاد للInstances من خلال توسيع النماذج المستخدمة في الكشف عن الأجسام ثلاثية الأبعاد أو التجزئة الدلالية ثلاثية الأبعاد. ومع ذلك، تعاني هذه الطرق غير المباشرة من عيبين رئيسيين: 1) تُحدّد صناديق الحدود غير الدقيقة أو التنبؤات الدلالية غير المرضية من أداء الإطار العام للتجزئة الثلاثية الأبعاد للInstances. 2) تتطلب الطرق الحالية خطوة وسطى مكلفة زمنيًا تتضمن تجميع البيانات. ولحل هذه المشكلات، تُقدّم هذه الورقة طريقة جديدة متكاملة من البداية إلى النهاية للتجزئة الثلاثية الأبعاد للInstances، تعتمد على مُحول "Superpoint" (SPFormer). حيث تقوم هذه الطريقة بدمج الميزات المحتملة المستمدة من السحابات النقطية في "سوبربوينتس"، وتنبؤ بالInstances مباشرة من خلال متجهات الاستعلام دون الاعتماد على نتائج الكشف عن الأجسام أو التجزئة الدلالية. وتعتبر الخطوة الأساسية في هذا الإطار هو مُفكّك استعلام جديد يعتمد على مُحولات، قادر على استخلاص معلومات الInstance من خلال آلية الانتباه المتبادل بين السوبربوينتس وإنشاء قنوات التجزئة (ماسكات) الخاصة بالسوبربوينتس لكل Instance. وباستخدام التوافق الثنائي القائم على ماسكات السوبربوينتس، يمكن لـ SPFormer تنفيذ تدريب الشبكة دون الحاجة إلى خطوة التجميع الوسيطة، مما يُسرّع من سرعة الشبكة. وقد أثبتت التجارب الواسعة على مجموعتي بيانات ScanNetv2 وS3DIS أن الطريقة المقترحة موجزة وفعّالة. وتجدر الإشارة إلى أن SPFormer تتفوّق على أفضل الطرق الحالية بنسبة 4.3% في معيار mAP على مجموعة اختبار ScanNetv2 المخفية، مع الحفاظ على سرعة استجابة سريعة (247 مللي ثانية لكل إطار). يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/sunjiahao1999/SPFormer.