اعرف بيئةك: استغلال معلومات المشهد لتتبع الأشياء

الأنظمة الحالية المتطورة في التتبع تعتمد فقط على نموذج مظهر الهدف لتحديد موقعه في كل إطار. ومع ذلك، فإن هذه الأساليب عرضة للفشل في حالات مثل التغيرات السريعة في المظهر أو وجود كائنات مُربكة، حيث يكون نموذج المظهر الخاص بالهدف وحده غير كافٍ لضمان تتبع قوي. وتعتبر معرفة وجود الكائنات الأخرى ومواضعها في المشهد المحيط مفيدة للغاية في مثل هذه الحالات. ويمكن نقل هذه المعلومات المتعلقة بالمشهد عبر التسلسل الزمني واستخدامها، على سبيل المثال، لتجنب الكائنات المُربكة بشكل صريح وإزالة مناطق المرشحات الخاصة بالهدف.في هذا العمل، نقترح معمارية تتبع جديدة قادرة على الاستفادة من معلومات المشهد أثناء عملية التتبع. يُمثل مُتابِعنا هذه المعلومات على شكل متجهات حالة موضعية كثيفة، والتي يمكنها ترميز ما إذا كان المجال المحلي يُعتبر هدفًا، أو خلفية، أو كائنًا مُربكًا. وتُنقل هذه المتجهات عبر التسلسل الزمني، ثم تُدمج مع مخرجات نموذج المظهر لتحديد موقع الهدف. ويتم تدريب شبكتنا لاستخدام معلومات المشهد بشكل فعّال من خلال التحسين المباشر لأداء التتبع على مقاطع الفيديو. وقد حققت الطريقة المقترحة أفضل أداء مُسجل حتى الآن على ثلاث معايير تتبع، حيث بلغت درجة AO 63.6% على مجموعة البيانات الحديثة GOT-10k.