V-DETR: DETR مع ترميز الموضع النسبي للرؤوس للكشف عن الكائنات الثلاثية الأبعاد

نُقدِّم كاشفًا ثلاثي الأبعاد عالي الأداء للأجسام باستخدام إطار العمل DETR. وقد أدى المحاولات السابقة إلى نتائج غير مثلى لأنها فشلت في استخلاص تحيّزات استدلال دقيقة من حجم البيانات التدريبية المحدود. وتحديدًا، غالبًا ما تُركّز الاستعلامات على نقاط تقع بعيدًا عن الكائنات المستهدفة، مما ينتهك مبدأ المحلية في كشف الكائنات. ولحل هذه المشكلة، نُقدِّم طريقة جديدة تُسمّى ترميز الموضع النسبي ثلاثي الأبعاد للرؤوس (3DV-RPE)، والتي تُحسب ترميز الموضع لكل نقطة بناءً على موضعها النسبي بالنسبة إلى الصناديق ثلاثية الأبعاد التي تنبئ بها الاستعلامات في كل طبقة من طبقات المُفكّك، مما يوفر معلومات واضحة لمساعد النموذج على التركيز على النقاط القريبة من الكائنات، بما يتماشى مع مبدأ المحلية. بالإضافة إلى ذلك، قمنا بتحسين النموذج بشكل منهجي من جوانب متعددة، مثل تطبيع البيانات، استنادًا إلى فهمنا العميق للمهمة. ونُظهر نتائج استثنائية على معيار ScanNetV2 الصعب، حيث حققنا تحسينات كبيرة مقارنة بالنسخة السابقة 3DETR، من 65.0٪/47.0٪ إلى 77.8٪/66.0٪ على التوالي في مقاييس $\rm{AP}{25}$/$\rm{AP}{50}$. علاوةً على ذلك، يُحدِّد نهجنا سجلًا جديدًا على مجموعتي بيانات ScanNetV2 وSUN RGB-D. وسيتم إتاحة الشفرة المصدرية عبر الرابط: http://github.com/yichaoshen-MS/V-DETR.