تدريب مُحسَّن زمنيًا لكاشف كائنات ثلاثية الأبعاد متعددة المنظورات من خلال التنبؤ بالكائنات التاريخية

في هذه الورقة، نقترح نموذجًا جديدًا يُسمى التنبؤ بالكائنات التاريخية (HoP) للكشف ثلاثي الأبعاد من منظور متعدد، بهدف الاستفادة بشكل أكثر فعالية من المعلومات الزمنية. يتمثل نهج HoP بشكل مباشر في ما يلي: بالنظر إلى اللحظة الزمنية الحالية ( t )، نُنشئ ميزة افتراضية من نوع "منظور الطيور" (BEV) للحظة الزمنية ( t-k ) باستخدام الإطارات المجاورة لها، ثم نستخدم هذه الميزة للتنبؤ بمجموعة الكائنات في اللحظة الزمنية ( t-k ). يُحفَّز هذا النهج على ملاحظة أن إجبار الكاشف على استيعاب كل من الموقع المكاني والحركة الزمنية للكائنات التي تحدث في اللحظات الزمنية السابقة يمكن أن يؤدي إلى تعلم أكثر دقة للميزات في مساحة BEV. أولاً، نصمم بعناية فُصَلَين زمنيين قصيري الأمد وطويل الأمد، يمكنهما إنشاء الميزة الافتراضية لمساحة BEV للحظة الزمنية ( t-k ) دون الحاجة إلى استخدام الصور المقابلة من الكاميرات. ثانيًا، نُضيف فُصَلَة كاشف كائنات إضافية يمكن توصيلها بسهولة للتنبؤ بأهداف الكائنات باستخدام الميزة الافتراضية المُنتجة. من المهم الإشارة إلى أننا نُطبّق HoP فقط أثناء التدريب، وبالتالي لا يُضيف النهج المقترح أي عبء إضافي أثناء الاستنتاج. وبما أنه نموذج يمكن دمجه بسهولة (plug-and-play)، فإن HoP يمكن دمجه بسهولة في أطر الكشف في مساحة BEV الحديثة، بما في ذلك BEVFormer وسلسلة BEVDet. علاوةً على ذلك، فإن النهج المساعد HoP مكمل للطرق الشائعة في النمذجة الزمنية، مما يؤدي إلى تحسينات كبيرة في الأداء. أُجريت تجارب واسعة لتقييم فعالية النموذج المقترح HoP على مجموعة بيانات nuScenes. اخترنا أساليب ممثلة، بما في ذلك BEVFormer وBEVDet4D-Depth، لتقييم أداء منهجنا. وبشكل مفاجئ، حقق HoP نسبة 68.5% في معيار NDS و62.4% في معيار mAP باستخدام نموذج ViT-L على بيانات الاختبار في nuScenes، متفوقًا على جميع كاشفات الكائنات ثلاثية الأبعاد المدرجة في قائمة التصنيف. سيتم إتاحة الشيفرة المصدرية على الرابط التالي: https://github.com/Sense-X/HoP.