HGSFusion: دمج الرادار-الكاميرا باستخدام التوليد الهجين والمزامنة للكشف عن الكائنات ثلاثية الأبعاد

تلعب الرادار ذات الموجات المليمترية دورًا حيويًا في كشف الأجسام ثلاثية الأبعاد للقيادة الذاتية بفضل قدرتها على العمل في جميع الظروف الجوية وجميع ظروف الإضاءة للاستشعار. ومع ذلك، تتميز سحابات النقاط الرادارية بخلوها الواضح ووجود أخطاء لا يمكن تجنبها في تقدير الاتجاه (angle estimation). وللتغلب على هذه القيود، يمكن أن يساعد دمج الكاميرا جزئيًا في تخفيف هذه النواقص. ومع ذلك، قد يؤدي الدمج المباشر بين بيانات الرادار والكاميرا إلى آثار سلبية أو حتى عكسية بسبب غياب معلومات العمق في الصور، وضعف جودة ميزات الصورة في ظروف إضاءة غير مثالية. ولهذا، نقدم في هذا البحث شبكة دمج الرادار والكاميرا ذات التوليد الهجين والمزامنة (HGSFusion)، المصممة لدمج أفضل لقدرات الرادار وميزات الصور في كشف الأجسام ثلاثية الأبعاد. بشكل خاص، نقترح وحدة التوليد الهجين للرادار (RHGM)، التي تأخذ بعين الاعتبار بالكامل أخطاء تقدير اتجاه الوصول (DOA) في معالجة إشارات الرادار. وتُولّد هذه الوحدة نقاط رادارية أكثر كثافة باستخدام دوال كثافة احتمالية مختلفة (PDFs) بمساعدة المعلومات الدلالية. وفي الوقت نفسه، نقدّم وحدة المزامنة الثنائية (DSM)، التي تتضمن مزامنة فضائية ومزامنة بين الوسائط، بهدف تعزيز ميزات الصورة بمعلومات الموضع الراداري وتسهيل دمج الخصائص المختلفة بين الوسائط المختلفة. أظهرت التجارب الواسعة فعالية نهجنا، حيث تفوق على أحدث الطرق في مجموعتي بيانات VoD وTJ4DRadSet بنسبة 6.53% و2.03% على التوالي في معياري RoI AP وBEV AP. يُمكن الوصول إلى الكود من خلال الرابط: https://github.com/garfield-cpp/HGSFusion.