منذ 11 أيام

ربط تفاعل منطقة البحث مع القالب لتتبع RGB-T

{Si Liu, Jizhong Han, Jiao Dai, Xiaolin Wei, Xiaoming Wei, Junshi Huang, Fengguang Peng, Zizheng Xun, Tianrui Hui}

الملخص

يهدف التتبع RGB-T إلى الاستفادة من القدرة التآزرية والتكملية بين وضعي RGB وTIR لتحسين عملية التتبع في سياقات متنوعة، حيث يُعد التفاعل عبر الوسائط العامل الرئيسي. بعض الطرق السابقة تقوم بتجميع ميزات مناطق البحث RGB وTIR مباشرةً لتنفيذ عملية تفاعل أولية، لكنها تؤدي إلى إدخال ضوضاء خلفية زائدة. أما العديد من الطرق الأخرى، فهي تقوم بأخذ صناديق مرشحة من إطار البحث، ثم تطبّق مختلف أساليب الدمج على أزواج منفصلة من صناديق RGB وTIR، ما يحد من التفاعل عبر الوسائط ضمن مناطق محلية، ويؤدي إلى نمذجة غير كافية للسياق. وللتخفيف من هذه القيود، نقترح وحدة تفاعل جديدة تُسمى "التفاعل المُشَبَّك بين النموذج والمنطقة البحثية" (TBSI)، التي تُستخدم النماذج كوسيلة لربط التفاعل عبر الوسائط بين مناطق البحث RGB وTIR من خلال جمع وتقديم السياقات المرتبطة بالهدف والبيئة. كما يتم تحديث النماذج الأصلية بسياقات متعددة الوسائط الغنية التي تُستمد من وسط النموذج. تُدمج وحدة TBSI في هيكل ViT لاستخراج الميزات المشتركة، وتوافق النموذج مع المنطقة البحثية، والتواصل عبر الوسائط. أظهرت التجارب الواسعة على ثلاث معايير شهيرة لتتبع RGB-T أداءً متفوقًا على أحدث النماذج الحالية. يُمكن الاطلاع على الكود عبر الرابط: https://github.com/RyanHTR/TBSI.