تعقب متعدد الأهداف ثلاثي الأبعاد باستخدام كاميرا واحدة وكشف التعلم العميق وتصفية PMBM

الكاميرات الأحادية البؤرة هي من أبرز المستشعرات المستخدمة في صناعة السيارات لمركبات القيادة الذاتية. أحد العيوب الرئيسية لاستخدام الكاميرا الأحادية البؤرة هو أنها تقوم فقط بالرصد في مستوى الصورة ثنائي الأبعاد ولا تستطيع قياس المسافة مباشرة إلى الأجسام. في هذا البحث، نهدف إلى سد هذه الفجوة من خلال تطوير خوارزمية تتبع متعدد الأهداف تأخذ صورة كمدخل وتنتج مسارات للأجسام المكتشفة في نظام إحداثيات العالم. نحل هذه المشكلة باستخدام شبكة عصبية عميقة مدربة على اكتشاف الأجسام وتقدير المسافة إليها من صورة واحدة كمدخل. يتم إدخال الاكتشافات من سلسلة الصور إلى مرشح تتبع متقدم يعتمد على مزيج بيرنولي المتعدد-بواسون (Poisson Multi-Bernoulli Mixture). الجمع بين المكتشف المتعلم والمرشح PMBM يؤدي إلى خوارزمية تحقق تتبعًا ثلاثي الأبعاد باستخدام صور الكاميرا الأحادية البؤرة فقط كمدخل. يتم تقييم أداء الخوارزمية في إحداثيات العالم ثلاثية الأبعاد وإحداثيات الصورة ثنائية الأبعاد باستخدام مجموعة بيانات KITTI العامة لتتبع الأجسام. تظهر الخوارزمية قدرتها على تتبع الأجسام بدقة ومعالجة ربط البيانات بشكل صحيح، حتى عند وجود تداخل كبير بين الأجسام في الصورة، وهي واحدة من أفضل الخوارزميات في معيار تتبع الأجسام KITTI. بالإضافة إلى ذلك، فإن الخوارزمية فعالة، حيث تعمل بمتوسط ​​قريب من 20 إطارًا في الثانية.