فصل الأشياء في الفيديو باستخدام شبكات الذاكرة المكانية-الزمانية

نقترح حلًا جديدًا لمشكلة تقسيم الأشياء في الفيديو شبه المشرف عليه. بحكم طبيعة المشكلة، تصبح الدلائل المتاحة (مثل الإطارات الفيديوية مع أقنعة الأشياء) أكثر غنىً مع التوقعات الوسيطة. ومع ذلك، فإن الطرق الحالية غير قادرة على الاستفادة الكاملة من هذا المصدر الغني للمعلومات. نحل هذه المشكلة من خلال الاستعانة بشبكات الذاكرة وتعلم كيفية قراءة المعلومات ذات الصلة من جميع المصادر المتاحة. في إطار عملنا، تشكل الإطارات السابقة مع أقنعة الأشياء ذاكرة خارجية، ويتم تقسيم الإطار الحالي كاستعلام باستخدام معلومات الأقنعة الموجودة في الذاكرة. تحديداً، يتم مطابقة الاستعلام والذاكرة بشكل كثيف في فضاء الخصائص، مما يغطي جميع مواقع البكسل الزمانية-المكانية بطريقة تغذية الأمام. على عكس النهج السابقة، فإن استخدام كثيف لمعلومات التوجيه يتيح لنا التعامل بشكل أفضل مع التحديات مثل التغيرات في المظهر والاخفاء الجزئي. لقد أجرينا اختبارات طريقتنا على أحدث مجموعات المقاييس وأحرزنا أفضل الأداء حتى الآن (بمتوسط درجة 79.4 على مجموعة اختبار val من Youtube-VOS، ودرجة J 88.7 و79.2 على مجموعتي اختبار val من DAVIS 2016/2017 على التوالي) بينما نحافظ على زمن تشغيل سريع (0.16 ثانية/إطار على مجموعة اختبار val من DAVIS 2016).