CRAFT: الكشف عن الكائنات ثلاثية الأبعاد باستخدام الكاميرا والرادار مع محول الدمج الفرعي-السياقي

تتمتع مستشعرات الكاميرا والرادار بمزايا كبيرة من حيث التكلفة والموثوقية والصيانة مقارنةً بمستشعرات ليدار. غالبًا ما تقوم الطرق الحالية للدمج بدمج مخرجات الوسائط الفردية على مستوى النتائج، وتُعرف باستراتيجية الدمج المتأخرة. ورغم أن هذه الطريقة تستفيد من استخدام خوارزميات كشف مستقلة جاهزة للشراء، إلا أنها لا تستغل بالكامل الخصائص المكملة بين المستشعرات، مما يؤدي إلى أداء محدود بالرغم من الإمكانات الكبيرة لدمج الكاميرا والرادار. في هذا العمل، نقترح نهجًا مبكرًا جديدًا على مستوى المقترحات، يُستخدم لاستغلال فعّال للخصائص المكانية والسياقية لكلا المستشعرين (الكاميرا والرادار) في كشف الأجسام ثلاثية الأبعاد. يبدأ إطار عملنا بالدمج بربط مقترحات الصورة بنقاط الرادار في نظام الإحداثيات القطبية، مما يسمح بمعالجة فعّالة للتفاوت بين أنظمة الإحداثيات والخصائص المكانية. وباستخدام هذه المرحلة الأولى، تليها طبقات متعددة من دمج الميزات تعتمد على الانتباه المتبادل، والتي تُحدث تبادلًا ذكيًا للمعلومات المكانية والسياقية بين الكاميرا والرادار، مما يؤدي إلى دمج قوي وواعٍ. يحقق نهجنا لدمج الكاميرا والرادار أداءً متقدمًا على مستوى الحالة الحالية (SOTA) بـ 41.1% من متوسط الدقة (mAP) و52.3% من مؤشر الأداء الشامل (NDS) على مجموعة اختبار nuScenes، وهو ما يفوقbaseline الوحيد بالكاميرا بمقدار 8.7 و10.8 نقاط على التوالي، كما يُظهر أداءً تنافسيًا مقارنةً بطرق ليدار.