MMFN: شبكة دمج متعدد الأوضاع للقيادة من النهاية إلى النهاية

تم إلهام هذا البحث من حقيقة أن البشر يستخدمون أعضاء استشعار متنوعة لفهم العالم، مما دفع إلى استخدام أجهزة الاستشعار ذات الأنواع المختلفة في القيادة من النهاية إلى النهاية للحصول على سياق شامل للمشهد ثلاثي الأبعاد. في الأعمال السابقة، تم دمج مدخلات الكاميرا وليدار (LiDAR) عبر الترانسفورمرز (transformers) لتحقيق أداء قيادي أفضل. عادةً ما يتم تفسير هذه المدخلات بشكل أكبر كمعلومات خريطة عالية المستوى لمساعدة المهام التنقلية. ومع ذلك، فإن استخراج المعلومات المفيدة من المدخل المعقد للخريطة يمثل تحديًا، حيث قد يؤدي المعلومات الزائدة إلى إرباك الوكيل وتؤثر سلبًا على أداء القيادة. نقترح نهجًا جديدًا لاستخراج الخصائص بكفاءة من الخرائط الرقمية عالية الدقة (High-Definition - HD) واستخدامها في مهام القيادة من النهاية إلى النهاية. بالإضافة إلى ذلك، صممنا خبيرًا جديدًا لتعزيز أداء النموذج أكثر بأخذ القواعد المتعددة للطرق بعين الاعتبار. تثبت نتائج التجارب أن كلتا التحسينات المقترحتين تمكن وكيلنا من تحقيق أداء فائق مقارنة بالطرق الأخرى.