تتبع الكائنات من خلال استغلال مشترك للمجال الإطارات والمجتمع الأحداث

مستلهمين من التكامل بين الكاميرات التقليدية القائمة على الإطارات والكاميرات المستوحاة من الطبيعة القائمة على الأحداث، نقترح نهجًا متعدد الأوضاع لدمج الإشارات البصرية من مجالات الإطار والحدث بهدف تحسين أداء تتبع الكائن الواحد، وبخاصة في الظروف المُتدهورة (مثل المشاهد ذات النطاق الديناميكي العالي، أو الإضاءة المنخفضة، أو الكائنات المتحركة بسرعة). يمكن للنهج المقترح دمج المعلومات ذات المعنى من كلا المجالين بشكل فعّال وتكيفي. ويُعزز فعالية هذا النهج تصميمنا لآليات انتباه عابرة للمجالات، التي تُمكن من تعزيز السمات من خلال نماذج الانتباه الذاتي والانتباه العابر للمجالات؛ بينما يُضمن التكيف من خلال خطة ترجيح مصممة خصيصًا، تُوازن بشكل تكيفي مساهمة المجالين. ولاستغلال الإشارات البصرية القائمة على الأحداث في تتبع الكائن الواحد، قمنا ببناء مجموعة بيانات كبيرة مبنية على الإطارات والأحداث، والتي استخدمناها لتدريب نموذج جديد مبني على دمج الإطار والحدث. وأظهرت التجارب الواسعة أن النهج المقترح يتفوق على أفضل الطرق القائمة على الإطارات من حيث معدل النجاح الممثل بنسبة لا تقل عن 10.4%، ومن حيث معدل الدقة بنسبة لا تقل عن 11.9%. بالإضافة إلى ذلك، تُثبت دراستنا التحليلية الشاملة فعالية كل عنصر رئيسي في نهجنا.