التحليل التلقائي للكائنات في الفيديو باستخدام انتقال القناع المُدرك للحركة

نُقدِّم طريقةً ذاتية التدريب للتوافق المكاني-الزماني، تُسمَّى نقل القناع المُدرك للحركة (MAMP)، لتقسيم كائنات الفيديو. تعتمد MAMP على مهمة إعادة بناء الإطارات أثناء التدريب دون الحاجة إلى بيانات مُعلَّمة. أثناء الاستدلال، تقوم MAMP باستخراج ميزات عالية الدقة من كل إطار لبناء بنك ذاكرة من هذه الميزات بالإضافة إلى قناعات التنبؤ الخاصة بالإطارات السابقة المختارة. ثم تقوم MAMP بنقل القناع من بنك الذاكرة إلى الإطارات اللاحقة باستخدام وحدة التوافق المكاني-الزماني المُدرَكة للحركة التي نقترحها، وذلك لمعالجة حالات الحركة السريعة والتوافق على مدى طويل. أظهرت النتائج على مجموعتي بيانات DAVIS-2017 وYouTube-VOS أن MAMP تحقق أداءً متقدمًا في مستوى الصناعة مقارنة بالطرق ذاتية التدريب الحالية، مع قدرة تعميم أقوى، حيث تفوق أداء المُنافس الأقرب بنسبة 4.2% في متوسط قياس J&F على DAVIS-2017، وبنسبة 4.85% على الفئات غير المرئية في YouTube-VOS. علاوةً على ذلك، تُظهر MAMP أداءً مُوازيًا لعدة طرق مُعلَّمة لتقسيم كائنات الفيديو. يمكن الوصول إلى الكود الخاص بنا من خلال: https://github.com/bo-miao/MAMP.