OneTracker: توحيد تتبع الكائنات البصرية باستخدام النماذج الأساسية والضبط الفعال

تهدف متابعة الكائنات البصرية إلى تحديد موقع الكائن المستهدف في كل إطار بناءً على مظهره الأولي في الإطار الأول. اعتمادًا على نوع المدخلات، يمكن تقسيم مهام المتابعة إلى متابعة RGB ومتابعة RGB+X (مثل RGB+N وRGB+D). رغم الاختلاف في أنماط المدخلات، فإن الجانب الأساسي للمتابعة هو التوافق الزمني. استنادًا إلى هذا الأساس المشترك، نقدم إطارًا عامًا لتوحيد مختلف مهام المتابعة، يُطلق عليه OneTracker. يقوم OneTracker أولاً بتدريب كبير الحجم على تتبع RGB يُسمى تتبع الأسس (Foundation Tracker). هذه المرحلة التدريب تمنح تتبع الأسس القدرة المستقرة على تقدير موقع الكائن المستهدف. ثم نعتبر المعلومات من الأنماط الأخرى كإرشادات ونبني تتبع الإرشادات (Prompt Tracker) فوق تتبع الأسس. من خلال تثبيت تتبع الأسس وتعديل بعض المعلمات القابلة للتدريب فقط، يتمكن تتبع الإرشادات من استغلال قدرة التعيين القوية التي يتمتع بها تتبع الأسس ويحقق تعديلًا فعالاً للمعلمات في مهام المتابعة RGB+X اللاحقة. لتقييم فعالية إطارنا العام OneTracker، الذي يتكون من تتبع الأسس وتتبع الإرشادات، أجرينا تجارب واسعة النطاق على ستة مهام متابعة شائعة عبر 11 مقاييس أدائية، وقد أثبت OneTracker تفوقه على النماذج الأخرى وأحرز أداءً رائدًا في المجال (state-of-the-art performance).