AiATrack: الانتباه في الانتباه لتعقب الصور البصرية باستخدام نموذج ترانسفورمر

حققت مُتابِعات الترانسفورمر تقدماً ملحوظاً في الآونة الأخيرة، حيث يلعب آلية الانتباه دوراً مهماً. ومع ذلك، يمكن أن يؤدي الحساب المستقل للارتباط في آلية الانتباه إلى أوزان انتباه ضوضائية وغامضة، مما يمنع التحسينات الأداء الإضافية. لحل هذه المشكلة، نقترح وحدة انتباه داخل انتباه (AiA)، والتي تعزز الارتباطات المناسبة وتقلل من الخطأ فيها عن طريق البحث عن توافق بين جميع متجهات الارتباط. يمكن تطبيق وحدة AiA الخاصة بنا بسهولة على كلاً من كتل الانتباه الذاتي وكتل الانتباه المتقاطع لتسهيل تجميع الخصائص وانتشار المعلومات لمتابعة الصور المرئية. علاوة على ذلك، نقترح إطار عمل متتبع ترانسفورمر مُبسَّطًا، أطلقنا عليه اسم AiATrack، وذلك من خلال إدخال إعادة استخدام الخصائص بكفاءة ومتجهات الغرض والخلفية لتحقيق الاستفادة الكاملة من المراجع الزمنية. تظهر التجارب أن متتبعنا يحقق أداءً رائدًا في ستة مقاييس للمتابعة مع الحفاظ على سرعة زمنية حقيقية.