شبكة اندماج تدريجي قائم على السمة للتتبع RGBT

يُعاني التتبع RGBT عادةً من عوامل تحدٍ متعددة، مثل الحركة السريعة، وتغير الحجم، وتغير الإضاءة، والتقاطع الحراري، والتغطية، ومن بين أمور أخرى. غالبًا ما تدرس الدراسات الحالية نماذج الدمج لحل جميع هذه التحديات في آنٍ واحد، مما يتطلب نماذج دمج معقدة بدرجة كافية، وبيانات تدريب كبيرة، ويكون من الصعب عادةً بناؤها في السياقات الواقعية. في هذا العمل، نقوم بفصل عملية الدمج من خلال خصائص التحديات، ونُقدّم شبكة دمج تدريجية قائمة على السمات (APFNet) جديدة، لزيادة قدرة الدمج باستخدام عدد قليل من المعاملات، وفي نفس الوقت تقليل الاعتماد على بيانات تدريب ضخمة. وبشكل خاص، نصمم خمسة فروع دمج مخصصة للسمات، لدمج السمات المرئية (RGB) والحرارية تحت التحديات المتمثلة في التقاطع الحراري، وتغير الإضاءة، وتغير الحجم، والتغطية، والحركة السريعة على التوالي. وبفضل فصل عملية الدمج، يمكننا استخدام عدد قليل من المعاملات لكل فرع لتحقيق دمج قوي بين الوسائط المختلفة، وتدريب كل فرع باستخدام مجموعة تدريب صغيرة مُعلّمة بسمة محددة. ثم، لدمج السمات من جميع الفروع بشكل تكيفي، نصمم وحدة دمج تجميعية تعتمد على نموذج SKNet. وأخيرًا، نصمم أيضًا محول دمج مُعزز لتعزيز السمات المجمعة والسمات المخصصة للوسائط. تُظهر النتائج التجريبية على مجموعات بيانات معيارية فعالية APFNet مقارنةً بالطرق المتقدمة الأخرى.