سبارك: دمج رادار-كاميرا نادر الكثافة لاكتشاف الأشياء ثلاثية الأبعاد

في هذا العمل، نقدم SpaRC، وهو محول تجميع نادر جديد للاستشعار ثلاثي الأبعاد يدمج معاني الصور متعددة الزوايا مع خصائص نقاط الرادار والكاميرا. أصبحت دمج بيانات الرادار والكاميرا كنمط استشعار فعال لأنظمة القيادة الذاتية. بينما تستخدم النهج التقليدية هياكل مكثفة تعتمد على العرض الطائري للطائرة (BEV) لتقدير العمق، فإن المحولات المستندة إلى الاستعلامات المعاصرة تتفوق في الكشف باستخدام الكاميرا فقط من خلال منهجية مركزية حول الأشياء. ومع ذلك، تظهر هذه النماذج المستندة إلى الاستعلامات قيودًا في اكتشافات الإشارات الخاطئة ودقة التموضع بسبب نموذج العمق الضمني. نعالج هذه التحديات من خلال ثلاثة إسهامات رئيسية: (1) التجميع النادر للأسطوانة (SFF) لتحقيق تناسق الخصائص بين الوسائط المتعددة، (2) التجميع المتكيف بالمسافة للرادار (RAR) لتحقيق تحديد موقع دقيق للأجسام، و(3) الانتباه الذاتي المحلي (LSA) لتحقيق تجميع استعلامات مركزة. بخلاف الأساليب الحالية التي تتطلب رسم شبكة عرض طائري للطائرة مكثفة حسابيًا، يعمل SpaRC مباشرة على خصائص النقاط المشفرة، مما يؤدي إلى تحسين كبير في الكفاءة والدقة. أظهرت التقييمات التجريبية على مقاييس nuScenes وTruckScenes أن SpaRC يتفوق بشكل كبير على الكاشفات المكثفة القائمة على العرض الطائري للطائرة والكاشفات النادرة القائمة على الاستعلامات الحالية. حققت طريقتنا مؤشرات أداء رائدة في مجالها بلغت 67.1 NDS و63.1 AMOTA. يمكن الوصول إلى الشفرة والنماذج المدربة مسبقًا عبر الرابط https://github.com/phi-wol/sparc.