تتبع RGBT عبر شبكة متعددة المكيفات مع خسارة التباعد الهرمي

لقد جذب تتبع RGBT اهتمامًا متزايدًا منذ أن أظهرت بيانات الأشعة تحت الحمراء الحرارية والصورة الملونة (RGB) مزايا تكاملية قوية، مما يمكن المتعقبات من العمل على مدار الساعة وفي جميع الظروف الجوية. ومع ذلك، فإن كيفية تمثيل بيانات RGBT بشكل فعال للتتبع البصري لا تزال غير مدرسة بشكل كافٍ. غالبًا ما تركز الأعمال الحالية على استخراج المعلومات المشتركة بين الوسائط أو المعلومات الخاصة بكل وسائط، ولكن إمكانات هذين المؤشرين لم يتم استكشافها واستغلالها بشكل جيد في تتبع RGBT. في هذا البحث، نقترح شبكة متعددة المتكيفات جديدة لتنفيذ تعلم التمثيل المشترك بين الوسائط، والخاص بكل وسائط، والمتعلق بالمثال بشكل مشترك لتتبع RGBT. لهذا الغرض، نصمم ثلاثة أنواع من المتكيفات ضمن إطار تعلم عميق من النهاية إلى النهاية. بصفة خاصة، نستخدم VGG-M المعدل كمتكيّف عام لاستخراج التمثيلات المشتركة بين الوسائط للهدف. لاستخراج الخصائص الخاصة بكل وسائط مع تقليل التعقيد الحسابي، نصمم متكيف وسائطي يضيف كتلة صغيرة إلى المتكيف العام في كل طبقة وكل وسائطي بطريقة متوازية. يمكن لهذه التصميم أن يتعلم تمثيلات متعددة المستويات خاصة بكل وسائطي باستخدام عدد معقول من المعالم حيث يُشارَك معظم المعالم مع المتكيف العام. كما نصمم متكيف مثال لالتقاط خصائص الشكل ومراحل التغير الزمني لنموذج معين. بالإضافة إلى ذلك، لتعزيز الخصائص المشتركة والخاصة، نستخدم خسارة الاختلاف المتوسط الأقصى المتعدد النوى (multiple kernel maximum mean discrepancy) لقياس انحراف التوزيع بين خصائص الوسائط المختلفة وندمجها في كل طبقة لتحقيق تعلم تمثيلي أكثر صلابة. أثبتت التجارب الشاملة على قاعدتي بيانات معياريتين لتتبع RGBT الأداء الاستثنائي للمتعقب المقترح مقابل أفضل الأساليب الحالية.