ST-P3: القيادة الذاتية القائمة على الرؤية من النهاية إلى النهاية عبر تعلم الخصائص المكانية-الزمانية

تتضمن العديد من النماذج الحالية للقيادة الذاتية أنابيب معالجة متعددة المراحل ومجزأة. لتحسين التنبؤ بإشارات التحكم وتعزيز سلامة المستخدم، يُفضل اعتماد نهج متكامل من البداية إلى النهاية يستفيد من تعلم الخصائص الزمانية-المكانية بشكل مشترك. رغم وجود بعض الأعمال الرائدة في مجال الإدخال القائم على ليدار أو التصميم الضمني، فإننا في هذه الورقة نقوم بصياغة المشكلة في إطار قائم على الرؤية يمكن فهمه. بشكل خاص، نقترح مخططًا لتعلم الخصائص الزمانية-المكانية بهدف تحقيق مجموعة من الخصائص الأكثر تمثيلًا للمهام المتعلقة بالاستشعار والتنبؤ والتخطيط في آنٍ واحد، والذي يُطلق عليه اسم ST-P3 (Spatial-Temporal Perception, Prediction, and Planning). وبشكل أكثر تحديدًا، تم اقتراح تقنية تجميع محاذاة ذات مركز ثابت للحفاظ على المعلومات الهندسية في الفضاء ثلاثي الأبعاد قبل تحويل المنظور العيني للطير (bird's eye view) للاستشعار؛ وتم تصميم نموذج طريقين مزدوجين لأخذ التغيرات الحركية السابقة بعين الاعتبار عند التنبؤ بالمستقبل؛ وتم تقديم وحدة تحسين قائمة على الزمن لتعويض عدم كفاية التعرف على العناصر القائمة على الرؤية للتخطيط. حسب علمنا، نحن أول من يقوم بدراستها بشكل منهجي لكل جزء من نظام القيادة الذاتية المتكامل من البداية إلى النهاية القائم على الرؤية. قمنا بتقييم أداء نهجنا مقابل أفضل الأساليب السابقة باستخدام مجموعة بيانات nuScenes المفتوحة الدورة وكذلك المحاكاة المغلقة الدورة CARLA. أظهرت النتائج فعالية طريقتنا. تم جعل الكود المصدر والموديل وتوضيح البروتوكول متاحًا للجمهور عبر الرابط: https://github.com/OpenPerceptionX/ST-P3.