شبكات الانتباه المتقاطع النموذجية لتتبع الأشياء المتعددة والتمييز بينها

تتبع وتقسيم الأشياء المتعددة يتطلب اكتشاف وتتبع وتقسيم الأشياء التي تنتمي إلى مجموعة من الفئات المحددة. تركز معظم الطرق على البُعد الزمني فقط لمعالجة مشكلة الارتباط، بينما تعتمد على التوقعات في الإطار الواحد للحصول على قناع التقسيم نفسه. نقترح شبكة العناية المتبادلة النموذجية (PCAN)، القادرة على الاستفادة من المعلومات الزمانية والمكانية الغنية لتتبع وتقسيم الأشياء المتعددة عبر الإنترنت. أولاً، تقوم PCAN بتقريب ذاكرة الزمان والمكان إلى مجموعة من النماذج، ثم تستفيد من العناية المتبادلة لاسترجاع معلومات غنية من الإطارات السابقة. لتقسيم كل شيء، تتبنى PCAN وحدة مظهر نموذجي لتعلم مجموعة من النماذج التباينية للمقدمة والخلفية، والتي يتم بعدها نشرها عبر الزمن. تظهر التجارب الواسعة أن PCAN تتفوق على الفائزين الحاليين في مسابقات تتبع وتقطيع الحالات في الفيديو على كلاً من مجموعتي بيانات Youtube-VIS وBDD100K، كما أنها تثبت فعاليتها لكلٍ من الإطارات التقسيمية ذات المرحلة الواحدة والإطارات ذات المرحلتين. يمكن الوصول إلى الكود ومصادر الفيديو عبر الرابط: http://vis.xyz/pub/pcan.