تتبع فعّال باللون RGB-T من خلال التقطيع عبر الوسائط

تُعتمد معظم المُتتبعات الحالية ذات الألوان الثلاثية (RGB-T) على بنية ذات تدفقين لاستخراج الميزات الأحادية الطور من الصور الملونة (RGB) والصور الحرارية، بالإضافة إلى استخدام استراتيجيات تكامل معقدة لتحقيق دمج الميزات متعددة الأطوار، مما يتطلب عددًا كبيرًا جدًا من المعاملات، وبالتالي يعيق تطبيقاتها العملية. من ناحية أخرى، قد تكون المُتتبعات المدمجة ذات الألوان الثلاثية فعالة من حيث الحوسبة، لكنها قد تواجه تدهورًا في الأداء لا يمكن تجاهله، نظرًا لتقليل قدرتها على تمثيل الميزات. ولعلاج هذه المشكلة، نقدم إطارًا للتعلم عبر الأطوار (cross-modality distillation) لسد الفجوة بين الأداء المتميز لمُتتبع قوي ومتتبع مدمج. وبشكل خاص، نقترح وحدة لنقل الميزات المشتركة والمتخصصة بين الأطوار، والتي تقوم بتحويل المعلومات المشتركة بين الأطوار والمعلومات المخصصة لكل طور من شبكة تدفقين عميقة إلى شبكة أحادية تدفق أبسط. علاوةً على ذلك، نقترح وحدة لنقل الميزات عبر مسارات متعددة، تُوجّه وحدة التكامل البسيطة لاستيعاب معلومات متعددة الأطوار بدقة أكبر من خلال آلية تكامل مصممة بعناية، باستخدام مسارات متعددة. وقد قمنا بتأكيد فعالية طريقة عملنا من خلال تجارب واسعة النطاق على ثلاث معايير معيارية (benchmarks) لبيانات RGB-T، حيث حققت أداءً يُعدّ من أفضل الأداء في المجال، مع استهلاك موارد حوسبة أقل بكثير.