نمذجة الحركة والشكل معاً لتعقب RGB-T قوي

في هذه الدراسة، نقترح إطارًا جديدًا للتعقب RGB-T من خلال نمذجة مظاهر الحركة والشكل معًا. أولاً، لضمان الحصول على نموذج شكل قوي، طورنا طريقة دمج متأخرة جديدة لاستنتاج خرائط الأوزان المدمجة لكل من الوسائط البصرية (RGB) والحرارية (T). يتم تحديد أوزان الدمج باستخدام شبكات الاندماج متعددة الوسائط العالمية والمحلية التي تم تدريبها خارج الخط، ثم تُستخدم لدمج الخرائط الاستجابية للوسائط البصرية (RGB) والحرارية (T) بشكل خطي. ثانيًا، عند عدم ثبات مؤشرات الشكل، نأخذ بعين الاعتبار مؤشرات الحركة بشكل شامل، أي حركة الهدف وحركة الكاميرا، لجعل نظام التعقب أكثر قوة. كما اقترحنا محول تعقب يتيح التبديل بين متعقب الشكل ومتعقب الحركة بمرنّة. تظهر النتائج العديدة على ثلاثة مجموعات بيانات حديثة للتعقب RGB-T أن المتعقب المقترح يؤدي بشكل أفضل بكثير من الخوارزميات الرائدة الأخرى في هذا المجال.