بعد: مُوجِّه الاندماج القائم على الانتباه لتعقب RGBT

الدمج متعدد الأوضاع كمكون بحثي أساسي في تتبع RGBT أدى إلى ظهور العديد من دراسات الدمج في السنوات الأخيرة. ومع ذلك، فإن طرق تتبع RGBT الحالية تستخدم على نطاق واسع هيكلية دمج ثابتة لدمج الميزات متعددة الأوضاع، والتي تكون صعبة في التعامل مع التحديات المختلفة في السيناريوهات الديناميكية. لحل هذه المشكلة، يقدم هذا العمل هيكلية دمج جديدة تعتمد على الانتباه (Attention) تُسمى AFter، والتي تقوم بتحسين هيكلية الدمج لتتكيف مع السيناريوهات الديناميكية الصعبة، مما يوفر تتبعًا قويًا لـ RGBT. بشكل خاص، نصمم فضاءًا لهيكلية الدمج بناءً على شبكة الانتباه التراتبية (Hierarchical Attention Network)، حيث يتوافق كل وحدة دمج تعتمد على الانتباه مع عملية دمج، ويتوافق مزيج هذه الوحدات مع هيكلية الدمج. من خلال تحسين مزيج وحدات الدمج التي تعتمد على الانتباه، يمكننا اختيار هيكلية الدمج بشكل ديناميكي للتكيف مع التحديات المختلفة. على عكس البحث المعقد عن الهياكل المختلفة في خوارزميات البحث عن الهندسة العصبية (Neural Architecture Search)، نطور خوارزمية توجيه ديناميكي (Dynamic Routing Algorithm)، والتي توفر لكل وحدة دمج تعتمد على الانتباه راوتر (Router) لتنبؤ أوزان المزيج لتحقيق تحسين فعال لهيكلية الدمع. التجارب الشاملة على خمسة مجموعات بيانات رئيسية للتتبع RGBT أثبتت الأداء المتفوق للهيكلية المقترحة AFter مقابل أفضل المتتبعات الحالية لـ RGBT. لقد قمنا بإصدار الكود في https://github.com/Alexadlu/AFter.