الكشف والتعقب الثلاثي الأبعاد للمركبات باستخدام الكاميرا أحادية العين بشكل مشترك

الحجم ثلاثي الأبعاد ومسارات المركبات هي مؤشرات حاسمة لتنبؤ موقع المركبات في المستقبل والتخطيط للحركة الذاتية للموكلين في المستقبل بناءً على هذه التنبؤات. في هذا البحث، نقترح إطارًا جديدًا عبر الإنترنت للكشف عن المركبات وتعقبها ثلاثي الأبعاد من مقاطع الفيديو أحادية العدسة. يمكن لهذا الإطار ليس فقط ربط اكتشافات المركبات المتحركة عبر الزمن، بل أيضًا تقدير معلومات الصندوق الحدودي الثلاثي الأبعاد الكاملة لها من سلسلة من الصور ثنائية الأبعاد التي تم التقاطها على منصة متحركة. يستفيد أسلوبنا من تطابق ترتيب عمق الصناديق ثلاثية الأبعاد لتحقيق ربط مثالي للحالات، ويستخدم تنبؤ المسار ثلاثي الأبعاد لإعادة تحديد المركبات المحجوبة. كما صممنا وحدة تعلم الحركة تعتمد على LSTM للتنبؤ الدقيق بحركة طويلة الأمد. تجاربنا على بيانات المحاكاة وبيانات KITTI وArgoverse أظهرت أن خط أنابيب تتبعنا ثلاثي الأبعاد يوفر ربط البيانات وتتبعًا ثابتًا. وعلى بيانات Argoverse، يكون أسلوبنا القائم على الصور أفضل بكثير في تتبع المركبات ثلاثية الأبعاد ضمن 30 مترًا مقارنة بالأساليب الأساسية القائمة على LiDAR (ليدار).