تتبع التصوير المُدمَج RGB-T مع المُتكِيْف الثنائي الاتجاه

حققت العديد من أحدث مُتابِعات RGB-T نتائجًا ملحوظة من خلال دمج الأصناف (modality fusion). ومع ذلك، غالبًا ما تتجاهل هذه المُتابِعات المعلومات الزمنية أو لا تستغلها بشكل كامل، مما يؤدي إلى عدم توازن فعال بين المعلومات متعددة الأصناف والمعلومات الزمنية. لحل هذه المشكلة، نقترح هندسة تتبع جديدة للدمج المتقاطع في RGB-T (CFBT) تضمن المشاركة الكاملة للأصناف المتعددة في التتبع مع دمج المعلومات الزمنية بشكل ديناميكي. تعتمد فعالية CFBT على ثلاثة وحدات جديدة لدمج المعلومات المكانية-الزمنية المتقاطعة: دمج التعزيز المكاني-الزماني المتقاطع (CSTAF)، ودمج التكامل المكاني-الزمني المتقاطع (CSTCF)، ومُتكيف التكيف ثنائية التيار (DSTA). يستخدم CSTAF آلية الانتباه المتقاطع لتعزيز تمثيل الخصائص النموذجية بشكل شامل. يستفيد CSTCF من المعلومات التكميلية بين الفروع المختلفة لتعزيز خصائص الهدف وتقليل خصائص الخلفية. يعتمد DSTA على مفهوم المُتكيف لدمج المعلومات التكميلية من الفروع المتعددة داخل طبقة التحويل، باستخدام الصنف RGB كوسيلة. إن هذه الدمجات الذكية لمختلف وجهات النظر تضيف أقل من 0.3٪ من إجمالي معلمات الأصناف، ولكنها بالفعل تمكن من تحقيق توازن كفاءة بين المعلومات متعددة الأصناف والمعلومات الزمنية. أظهرت التجارب الواسعة على ثلاث مقاييس شهيرة لتتبع RGB-T أن طريقتنا حققت أداءً جديدًا يتفوق على أفضل الأساليب الحالية (state-of-the-art performance).