الفصل الفعّال للأشياء في الفيديو من خلال تعديل الشبكة

يهدف تقسيم الأشياء في الفيديو إلى فصل جسم معين عبر سلسلة الفيديو، مع وجود إطار أول مُشَرَّح فقط. أظهرت الطرق الحديثة القائمة على التعلم العميق أنها فعالة من خلال ضبط نموذج التقسيم العام على الإطار المشروح باستخدام مئات دورة الانحدار التدريجي. ومع ذلك، فإن عملية الضبط الدقيق غير كفؤة ولا تلبي متطلبات التطبيقات الحقيقية. نقترح نهجًا جديدًا يستخدم مرورًا واحدًا للأمام لتكيف نموذج التقسيم مع شكل جسم معين. بصفة خاصة، يتم تعلم شبكة عصبية ثانية تُسَمَّى المعدل (modulator) للتحكم في الطبقات الوسطى لنظام التقسيم بناءً على معلومات بصرية ومكانيّة محدودة عن الجسم المستهدف. تُظهِر التجارب أن نهجنا أسرع بمقدار 70 مرة من طرق الضبط الدقيق بينما يحقق دقة مشابهة.