استغلال الاتصال: تتبع الأهداف المتعددة باستخدام TrackletNet

تعقب الأهداف المتعددة (MOT) هو مهمة مهمة وعملية تتعلق بأنظمة المراقبة وتطبيقات الكاميرات المتحركة، مثل القيادة الذاتية ورؤية الروبوتات. ومع ذلك، بسبب عدم الثقة في الكشف والاخفاء والحركة السريعة للكاميرا، يمكن أن تضيع الأهداف المعقب عليها بسهولة، مما يجعل تعقب الأهداف المتعددة أمرًا صعبًا للغاية. معظم الأعمال الحديثة تعالج التعقب كمهمة إعادة التعرف (Re-ID)، ولكن كيفية دمج الخصائص البصرية والزمنية لم يتم معالجتها بشكل جيد بعد. في هذا البحث، نقترح طريقة تعقب مبتكرة وفعالة تسمى TrackletNet Tracker (TNT) والتي تجمع المعلومات الزمنية والبصرية معًا في إطار عمل موحد. أولاً، نحدد نموذجًا للرسم البياني يتعامل مع كل مقطع تعقب (tracklet) كرأس (vertex). يتم إنشاء المقاطع التعقب من خلال التشابه البصري باستخدام خصائص CNN وتقاطع الاتحاد (IOU) مع قيود القطبية لتعويض حركة الكاميرا بين الإطارات المجاورة. ثم، بالنسبة لكل زوجين من مقاطع التعقب، يتم قياس التشابه بواسطة TrackletNet متعدد المقياس الذي صممناه. بعد ذلك، يتم تجميع مقاطع التعقب في مجموعات تمثل هويات الأشياء الفردية. الطريقة المقترحة TNT لدينا لديها القدرة على التعامل مع معظم التحديات في MOT وتحقق نتائج مشجعة على مجموعات بيانات المعايير MOT16 وMOT17 مقارنة بالطرق الرائدة الأخرى.