الاندماج المُنتَبِه لرادار + RGB للكشف القوي عن الأجسام في المركبات المستقلة

تقدم هذه الورقة بحثًا عن نسختين من البنية المعمارية تُعرفان بـ RANet و BIRANet. يهدف المعمارية المقترحة إلى استخدام بيانات إشارة الرادار مع صور كاميرات RGB لتكوين شبكة كشف قوية تعمل بكفاءة، حتى في ظروف إضاءة وطقس متغيرة مثل المطر، والغبار، والضباب، وغيرها. تتم عملية الدمج على النحو التالي: أولاً، يتم دمج معلومات الرادار في شبكة استخراج الميزات. ثانيًا، تُستخدم نقاط الرادار لإنشاء مربعات مساعدة موجهة (guided anchors). ثالثًا، يُقترح أسلوب لتحسين أهداف شبكة اقتراح المناطق (region proposal network). حققت BIRANet أداءً بنسبة 72.3% / 75.3% في متوسط الدقة (AP/AR) على مجموعة بيانات NuScenes، وهي أداء أفضل من أداء الشبكة الأساسية لدينا، Faster-RCNN مع شبكة الهرم المميز (FFPN). أما RANet، فقد حققت 69.6% / 71.9% في متوسط الدقة (AP/AR) على نفس المجموعة، وهي أداء معقول ومقنع. علاوةً على ذلك، تم تقييم كل من BIRANet و RANet كنوعين متماسكين ضد الضوضاء.