ClusterFusion: الاستفادة من الخصائص المكانية للرادار deteccion 3D للكائنات باستخدام الرادار والكاميرا في المركبات ذاتية القيادة

بفضل الطبيعة المكملة للموجات المليمترية الرادارية والكاميرات، يمكن لأساليب الكشف ثلاثي الأبعاد عن الأجسام القائمة على التعلم العميق من الرادار والكاميرا إنتاج كشف دقيق وموثوق حتى في ظروف الرؤية المنخفضة. وهذا يجعلها خيارًا مفضلاً لاستخدامها في أنظمة إدراك المركبات ذاتية القيادة، خاصةً أن التكلفة المجمعة لكلا الحساسين أقل من تكلفة الليدار. تُستخدم الأساليب الحديثة للرادار والكاميرا عادةً في دمج الميزات على مستوى الميزات، والذي يشمل غالبًا تحويل نقاط الرادار إلى نفس المستوى المسطح لخصائص الصورة، ثم دمج الميزات المستخرجة من كلا الوسائط. وعلى الرغم من أن دمج الميزات على مستوى الصورة يكون عادةً أبسط وأسرع، فإن تحويل نقاط الرادار إلى مستوى الصورة يؤدي إلى تسطيح بعد العمق في السحابة النقطية، مما قد يسبب فقدانًا للمعلومات ويصعب استخلاص الميزات المكانية من السحابة النقطية. قمنا بتطوير معمارية تُسمى ClusterFusion، التي تستفيد من الخصائص المكانية المحلية لسحابة نقاط الرادار من خلال تجميع النقاط أولاً، ثم استخراج الميزات مباشرة من المجموعات الناتجة قبل نقل هذه الميزات إلى مستوى الصورة. حققت ClusterFusion أفضل أداء ممكن بين جميع الأساليب القائمة على الرادار والكاميرا الأحادية (monocular) على جزء الاختبار من مجموعة بيانات nuScenes، بتحقيق معدل كشف nuScenes (NDS) بلغ 48.7%. كما قمنا بدراسة أداء استراتيجيات مختلفة لاستخراج الميزات من الرادار على مجموعات السحابة النقطية: استراتيجية مبنية على التصميم اليدوي، واستراتيجية قائمة على التعلم، ودمج بين النوعين، ووجدنا أن الاستراتيجية اليدوية حققت أفضل أداء. ويهدف هذا العمل بشكل رئيسي إلى استكشاف استخدام الخصائص المكانية المحلية والنقاطية للرادار من خلال استخراجها مباشرة من مجموعات سحابة نقاط الرادار، لتطوير طريقة للكشف ثلاثي الأبعاد عن الأجسام باستخدام الرادار والكاميرا الأحادية، تقوم بدمج الميزات عبر الوسائط على مستوى الصورة.