CenterFormer: تحويلة تعتمد على المركز للكشف عن الكائنات ثلاثية الأبعاد

أظهرت نماذج الترانسفورمر القائمة على الاستعلام إمكانات كبيرة في بناء الانتباه على مسافات طويلة في العديد من المهام المتعلقة بالصور، لكنها نُظر إليها نادرًا في كشف الأشياء ثلاثية الأبعاد المستندة إلى ليدار، وذلك بسبب الحجم الهائل لبيانات السحابة النقطية. في هذه الورقة، نقترح CenterFormer، وهي شبكة ترانسفورمر قائمة على المركز للكشف عن الأشياء ثلاثية الأبعاد. تبدأ CenterFormer بتحديد مرشحين للمركز باستخدام خريطة حرارة للمركز فوق معالج نموذجي للسحابة النقطية القائم على الفوكسلات. ثم تستخدم الميزة المرتبطة بمرشح المركز كمُدخل استعلام في الترانسفورمر. ولتعزيز تجميع الميزات من عدة إطارات، نصمم طريقة لدمج الميزات من خلال الانتباه المتبادل. وأخيرًا، نضيف رؤوسًا للانحدار لتنبؤ مربعات الحدود بناءً على تمثيل الميزة المركزية الناتجة. يقلل التصميم المقترح من صعوبة التقارب وتعقيد الحساب في هيكل الترانسفورمر. تُظهر النتائج تحسنًا ملحوظًا مقارنةً بالأساس القوي لشبكات كشف الأشياء بدون محاور (anchor-free). وتحقق CenterFormer أداءً رائدًا بين النماذج الواحدة على مجموعة بيانات Waymo Open، بتحقيق نسبة 73.7% لـ mAPH في مجموعة التحقق، و75.6% في مجموعة الاختبار، متفوقةً بشكل كبير على جميع الأساليب السابقة القائمة على الشبكات العصبية التلافيفية (CNN) والترانسفورمر. يمكن الوصول إلى الكود الخاص بنا بشكل عام عبر الرابط: https://github.com/TuSimple/centerformer