RCFusion: دمج الرادار رباعي الأبعاد والكاميرا باستخدام ميزات من منظور الطيور للكشف عن الأجسام ثلاثية الأبعاد

يُعد دمج الكاميرا ورادار الموجات المليمترية (MMW) أمراً بالغ الأهمية لتحقيق أنظمة قيادة ذاتية دقيقة وموثوقة. مع التقدم المحرز في تقنيات الرادار، ظهر رادار السيارات عالي الدقة الجيل القادم، المعروف بـ 4-D radar. إلى جانب قياسات المسافة، والاتجاه الأفقي، وسرعة دوبلر التي تقدمها الرادارات التقليدية، يُقدّم رادار 4-D قياس الارتفاع، مما يُنتج سحابة نقاط أكثر كثافة. في هذه الدراسة، نقترح شبكة دمج بين الكاميرا ورادار 4-D تُسمى RCFusion، والتي تحقق دمجًا متعدّد الأنواع للسمات ضمن فضاء موحد يُعرف بمنظور الطيور (BEV)، بهدف إنجاز مهام الكشف ثلاثي الأبعاد عن الأجسام. في تدفق الكاميرا، يتم الحصول على خرائط سمات متعددة المقاييس من خلال نموذج أساس الصورة وشبكة الهرم السماتي (FPN)، ثم تُحوّل هذه الخرائط إلى خرائط سمات منظورية (Orthographic) باستخدام تحويل السمة المنظورية (OFT). بعد ذلك، يتم استخلاص سمات BEV للصورة المُحسّنة والدقيقة من خلال مشغل انتباه مشترك مصمم خصيصًا. وفي تدفق رادار 4-D، يتم استخدام مكوّن جديد يُسمى Radar PillarNet لتمثيل سمات الرادار بشكل فعّال، مما يُنتج صورًا افتراضية للرادار، والتي تُقدّم إلى نموذج أساس سحابة النقاط لاستخراج سمات BEV للرادار. كما تم اقتراح وحدة انتباه تفاعلية (IAM) في مرحلة الدمج، التي تُنتج دمجًا فعّالاً للسمات ثنائية الأنواع في فضاء BEV. أخيرًا، يُقدّم رأس كشف عام تنبؤات حول فئات الأجسام ومواقعها. وقد تم التحقق من أداء RCFusion على مجموعتي بيانات TJ4DRadSet وview-of-delft (VoD). وأظهرت النتائج التجريبية والتحليلات أن الطريقة المقترحة قادرة على دمج سمات الكاميرا ورادار 4-D بشكل فعّال، مما يؤدي إلى أداء كشف قوي وموثوق.