تعلم الشبه كثيف للتشابه لتتبع الأهداف المتعددة

تم الاعتراف بتعلم الشبه (similarity learning) كخطوة حاسمة في تتبع الأشياء. ومع ذلك، فإن طرق تتبع الأشياء المتعددة الحالية تستخدم فقط مطابقة الحقائق الأرضية النادرة (sparse ground truth matching) كهدف للتدريب، مع تجاهل معظم المناطق المعلوماتية في الصور. في هذا البحث، نقدم تعلم الشبه شبه الكثيف (Quasi-Dense Similarity Learning)، والذي يقوم بتقديم عينات كثيفة من مئات مقترحات المناطق على زوج من الصور لتعلم التباين (contrastive learning). يمكننا دمج هذا التعلم للشبه مباشرة مع طرق الكشف الحالية لبناء تتبع شبه كثيف (Quasi-Dense Tracking - QDTrack) دون اللجوء إلى الانحدار المكاني أو الأوليات الحركية. كما اكتشفنا أن الفضاء المميز الناتج يقبل عملية بحث بسيطة لأقرب الجيران عند وقت الاستدلال. رغم بساطته، فإن QDTrack يتفوق على جميع الطرق الحالية في معايير تتبع MOT و BDD100K و Waymo و TAO. حيث يصل إلى 68.7 MOTA بمعدل 20.3 صورة في الثانية على MOT17 دون استخدام بيانات تدريب خارجية. بالمقارنة مع الطرق التي تستخدم كاشفات مشابهة، فإنه يزيد تقريباً 10 نقاط في MOTA ويقلل بشكل كبير من عدد التبديلات الخاصة بالمعرف (ID switches) في مجموعات بيانات BDD100K و Waymo. رمز البرمجيات والنموذج المدرب متاحان على الرابط http://vis.xyz/pub/qdtrack.