شبكات سيامية واعية بالمشتتات لتعقب الأشياء البصرية

في الآونة الأخيرة، اجتذبت شبكات سيامي (Siamese networks) اهتمامًا كبيرًا في مجتمع تتبع الصور بسبب توازنها بين الدقة والسرعة. ومع ذلك، فإن الخصائص المستخدمة في معظم نماذج التتبع السيامي يمكنها فقط تمييز المقدمة عن الخلفيات غير الدلالية. غالبًا ما تعتبر الخلفيات الدلالية ملهيات، مما يعيق صلابة نماذج التتبع السيامي. في هذا البحث، نركز على تعلم شبكات سيامي واعية بالملهيات لتحقيق تتبع دقيق وطويل الأمد. لهذا الغرض، يتم أولاً تحليل الخصائص المستخدمة في النماذج التقليدية للتتبع السيامي. نلاحظ أن التوزيع غير المتوازن لبيانات التدريب يجعل الخصائص المُتعلَّمة أقل تمييزًا. خلال مرحلة التدريب خارج الخط (off-line training phase)، يتم تقديم استراتيجية عينة فعالة للتحكم في هذا التوزيع وجعل النموذج يركز على الملهيات الدلالية. خلال الاستدلال (inference)، يتم تصميم وحدة جديدة واعية بالملهيات لتنفيذ التعلم التراكمي (incremental learning)، والذي يمكنه نقل الزراعة العامة إلى مجال الفيديو الحالي بكفاءة. بالإضافة إلى ذلك، نوسع النهج المقترح للتتبع طويل الأمد من خلال تقديم استراتيجية بحث محلية إلى عالمية بسيطة ولكن فعالة. تظهر التجارب الواسعة على مقاييس الأداء أن نهجنا يتفوق بشكل كبير على أفضل الأساليب الحالية، حيث حقق زيادة نسبية قدرها 9.6٪ في مجموعة بيانات VOT2016 وزيادة نسبية قدرها 35.9٪ في مجموعة بيانات UAV20L. يمكن للمسارك الاقتراح أن يعمل بمعدل 160 إطارًا في الثانية (FPS) على مقاييس الأداء قصيرة الأمد ومعدل 110 إطارًا في الثانية على مقاييس الأداء طويلة الأمد.