تتبع متعدد الكائنات متعدد الوسائط موثوق

يُعد الاستشعار متعدد الحساسات أمرًا حيويًا لضمان الموثوقية والدقة في أنظمة القيادة الذاتية، في حين يُحسّن التتبع متعدد الكائنات (MOT) من هذه الجوانب من خلال تتبع الحركة المتسلسلة للكائنات الديناميكية. ومعظم الطرق الحالية للاستشعار متعدد الحساسات والتتبع متعدد الكائنات تعاني إما من نقص الموثوقية نظرًا لاعتمادها الشديد على مصدر إدخال واحد (مثل الكاميرا المركزية)، أو من عدم الدقة الكافية نظرًا لدمج نتائج الحساسات المتعددة في مرحلة ما بعد المعالجة دون استغلال كامل للمعلومات المتأصلة فيها. في هذه الدراسة، نصمم إطارًا عامًا للاستشعار غير المُعتمد على نوع الحساس (Sensor-agnostic) للتعامل مع البيانات متعددة الأنواع في التتبع متعدد الكائنات (mmMOT)، حيث يمكن لكل نوع (أي حساس) أداء دوره بشكل مستقل لضمان الموثوقية، ثم تحسين دقته من خلال وحدة دمج جديدة متعددة الأنواع. يمكن تدريب mmMOT بطريقة نهاية إلى نهاية، مما يتيح التحسين المشترك لاست extractor الميزات الأساسي لكل نوع ومحسن العلاقة بين الأنواع المختلفة. كما يُعد mmMOT أول إطار يحاول ترميز التمثيل العميق للسحابة النقطية (point cloud) ضمن عملية التوقيع (data association) في التتبع متعدد الكائنات. أجرينا تجارب واسعة لتقييم فعالية الإطار المقترح على معيار KITTI الصعب، ونُعلن عن أداء مُتفوّق على مستوى الحالة الحالية. يُمكن الوصول إلى الشفرة والنموذج عبر الرابط: https://github.com/ZwwWayne/mmMOT.