تعلم التنبؤ بنموذج تمييزي للمتابعة

السعي الحالي نحو أنظمة رؤية حاسوبية قابلة للتدريب من البداية إلى النهاية يفرض تحديات كبيرة على مهمة تتبع الأهداف البصرية. بخلاف معظم مشاكل الرؤية الأخرى، يتطلب التتبع تعلم نموذج مظهر مستقر خاص بالهدف بشكل متواصل خلال مرحلة الاستدلال. لكي تكون قابلة للتدريب من البداية إلى النهاية، يجب دمج التعلم المتواصل لنموذج الهدف في بنية التتبع نفسها. نتيجة للتحديات المفروضة، فإن النموذج الشائع المتمثل في نظام سيمزي (Siamese) يقوم ببساطة بتوقع قالب ميزات الهدف، مع تجاهل معلومات مظهر الخلفية أثناء الاستدلال. وبالتالي، فإن النموذج المتوقع يمتلك تمييزًا محدودًا بين الهدف والخلفية.لقد طورنا بنية تتبع قابلة للتدريب من البداية إلى النهاية، قادرة على استغلال كامل لمعلومات مظهر كل من الهدف والخلفية في توقع نموذج الهدف. يتم اشتقاق بنيتنا من خسارة التعلم التمييزية عن طريق تصميم عملية تحسين خاصة قادرة على توقع نموذج قوي في عدد قليل من التكرارات فقط. بالإضافة إلى ذلك، يمكن لنهجنا تعلم جوانب رئيسية من الخسارة التمييزية نفسها. يحدد المحرك المقترح مستوى جديدًا للتقنية الحالية في ستة مقاييس لتتبع الأهداف، حيث حقق درجة EAO (Expected Average Overlap) بلغت 0.440 في VOT2018 (Visual Object Tracking Challenge 2018)، بينما يعمل بمعدل أكثر من 40 إطارًا في الثانية. يمكن الوصول إلى الكود والنماذج عبر الرابط: https://github.com/visionml/pytracking.