من مسارين إلى مسار واحد: تتبع كفء للصور الملونة والحرارية عبر التعلم المتبادل وتقطير المعرفة

بسبب الطبيعة التكاملية للضوء المرئي والأشعة تحت الحمراء الحرارية، حظيت متابعة الأهداف بناءً على دمج صور الضوء المرئي وصور الأشعة تحت الحمراء (والتي تُعرف بمتابعة RGB-T) باهتمام متزايد من الباحثين في السنوات الأخيرة. كيف يمكن تحقيق دمج أكثر شمولًا للمعلومات من هذين النمطين بتكلفة أقل هو مشكلة يسعى الباحثون لاستكشافها. مستوحى من تعلم الإشارات المرئية، صممنا معمارية تتبع RGB-T ثنائية التيار جديدة تعتمد على تعلم الإشارات المتبادلة بين النمطين، واستخدمنا هذا النموذج كنموذج معلم لقيادة نموذج طالب أحادي التيار لتحقيق التعلم السريع عبر تقنيات تقطير المعرفة. أظهرت التجارب الواسعة أن نموذج المعلم المصمم لدينا حقق أعلى معدل دقة مقارنة بتتبعات RGB-T المشابهة، بينما حقق نموذج الطالب، مع معدل دقة مparable إلى نموذج المعلم، سرعة استدلال تزيد عن ثلاثة أضعاف سرعة نموذج المعلم. (سيكون الرمز متاحًا إذا تم قبول البحث.)