ربط كل ما تم اكتشافه: تسهيل تتبع الكشف عن المجهول

يظهر تتبع الأهداف المتعددة (MOT) كفرع محوري ومليء بالوعود في مجال الرؤية الحاسوبية. تهدف الطرق التقليدية لتتبع الأهداف المتعددة ذات المفردات المغلقة (CV-MOT) إلى تتبع أهداف من فئات محددة مسبقًا. مؤخرًا، نجحت بعض الطرق الحديثة لتتبع الأهداف المتعددة ذات المفردات المفتوحة (OV-MOT) في معالجة مشكلة تتبع الفئات غير المعروفة. ومع ذلك، وجدنا أن طرق CV-MOT و OV-MOT تعاني كل منها من صعوبة التفوق في مهام الأخرى. في هذا البحث، نقدم إطارًا موحدًا يُسمى "ربط كل ما تم اكتشافه" (AED)، الذي يتعامل بشكل متزامن مع CV-MOT و OV-MOT من خلال دمجه مع أي جهاز كشف جاهز للاستخدام ويدعم الفئات غير المعروفة. على عكس طرق MOT القائمة على الكشف الموجودة حاليًا، يتخلص AED من المعرفة السابقة (مثل مؤشرات الحركة) ويعتمد فقط على تعلم الخصائص بقوة عالية لمعالجة المسارات المعقدة في مهام OV-MOT بينما يحافظ على أداء ممتاز في مهام CV-MOT. تحديدًا، نقوم بنمذجة مهمة الربط كمشكلة فك التشابه ونقترح رمز تشابه (sim-decoder) مع آلية تعلم مركزية حول الربط. يقوم رمز التشابه بحساب التشابه في ثلاثة جوانب: المكانية والزمانية والمتعددة المقاطع. بعد ذلك، تستفيد آلية التعلم المركزية حول الربط من هذه التشابهات الثلاثية لضمان أن الخصائص المستخرجة تكون مناسبة للتتبع المستمر وأنها قوية بما يكفي للعمومية إلى الفئات غير المعروفة. بالمقارنة مع الأساليب القوية الموجودة حاليًا لـ OV-MOT و CV-MOT، يحقق AED أداءً أفضل على TAO و SportsMOT و DanceTrack دون أي معرفة سابقة. يمكن الحصول على شفرتنا البرمجية من الرابط التالي: https://github.com/balabooooo/AED.