تتبع RGB-T عبر التعلم المتبادل متعدد الأوضاع

تعقب الأهداف المستند إلى دمج الصور المرئية والحرارية، المعروف بتعقب RGB-T، حظي باهتمام متزايد من الباحثين في السنوات الأخيرة. كيف يمكن تحقيق دمج شامل للمعلومات من الوسطين بمزيد من الكفاءة الحسابية كان مشكلة يسعى الباحثون لحلها. مؤخرًا، مع ظهور تعلم التحفيز في رؤية الحاسوب، أصبح بإمكاننا نقل المعرفة بشكل أفضل من النماذج المرئية الكبيرة إلى المهام اللاحقة. بالنظر إلى التكامل القوي بين الوسطين المرئي والحراري، نقترح هندسة تعقب تستند إلى تعلم التحفيز المتبادل بين الوسطين. كما صممنا محفزًا خفيف الوزن يدمج آليات الانتباه في بعدين لنقل المعلومات من وسط واحد إلى الآخر بأقل تكاليف حسابية، حيث تم إدراجه في كل طبقة من العمود الفقري (backbone). أثبتت التجارب الشاملة أن الهندسة المقترحة لتعقب الأهداف فعالة وكفوءة، حيث حققت أداءً عاليًا على مستوى الطليعة مع الحفاظ على سرعات تشغيل مرتفعة.