SA-Det3D: كشف ثلاثي الأبعاد للأشياء يعتمد على الانتباه الذاتي واعٍ بالسياق

تستخدم الكاشفات الحالية للأشياء ثلاثية الأبعاد المستندة إلى السحابة النقطية مشغلات شبيهة بالترشيح (convolution-like operators) لمعالجة المعلومات في الجوار المحلي باستخدام نوى ذات أوزان ثابتة، وتجميع السياق العالمي بطريقة هرمية. ومع ذلك، أظهرت الشبكات العصبية غير المحلية والانتباه الذاتي في الرؤية ثنائية الأبعاد أن نمذجة التفاعلات على المدى الطويل بشكل صريح يمكن أن تؤدي إلى نماذج أكثر موثوقية وتنافسية. في هذا البحث، نقترح نسختين من الانتباه الذاتي لنمذجة السياق في كاشفات الأشياء ثلاثية الأبعاد، من خلال تعزيز السمات المستمدة من الترشيح بالسمات المستمدة من الانتباه الذاتي. أولاً، ندمج آلية الانتباه الذاتي الزوجية في الكاشفات الحالية المتطورة من نوع BEV وفوكسِل ونقطة، ونُظهر تحسينًا مستمرًا على النماذج الأساسية القوية، بزيادة تصل إلى 1.5 نقطة في دقة الكشف ثلاثية الأبعاد (3D AP)، مع تقليل حجم المعلمات بنسبة تتراوح بين 15% إلى 80%، وخفض التكلفة الحسابية بنسبة تتراوح بين 30% إلى 50%، وذلك على مجموعة بيانات KITTI للتحقق. ثم نقترح نسخة مطورة من الانتباه الذاتي تقوم بأخذ عينة من مجموعة مختارة من السمات الأكثر تمثيلاً من خلال تعلُّم تشوهات على مواقع تم اختيارها عشوائيًا. هذا لا يسمح لنا بتوسيع نمذجة السياق العالمي الصريحة لتشمل سحابات نقطية أكبر، بل يؤدي أيضًا إلى سمات أكثر تمييزًا وغنىً بالمعلومات. يمكن تطبيق طريقةنا بمرن على معظم الكاشفات المتطورة الحالية، مع تحسين في الدقة وزيادة كفاءة المعلمات والحساب. ونُظهر أن الطريقة المقترحة تُحسّن أداء كشف الأشياء ثلاثية الأبعاد على مجموعات بيانات KITTI وnuScenes وWaymo Open. يتوفر الكود على الرابط التالي: https://github.com/AutoVision-cloud/SA-Det3D.