التكيف عبر الإنترنت لشبكات العصبونات المتكررة للتمييز بين أشياء الفيديو

نواجه مهمة تقسيم الأشياء في الفيديو بشكل شبه مشرف، أي تقسيم البكسلات التي تنتمي إلى كائن في الفيديو باستخدام قناع البكسل الحقيقي للإطار الأول. نعتمد على أسلوب تقسيم الأشياء في الفيديو بضربة واحدة (OSVOS) الذي تم تقديمه مؤخرًا والذي يستخدم شبكة متدربة مسبقًا ويقوم بتكييفها على الإطار الأول. رغم تحقيقه لأداء مثير للإعجاب، فإن OSVOS يستخدم الشبكة المتكيفة دون تغيير أثناء الاختبار ولا يستطيع التكيف مع التغيرات الكبيرة في مظهر الكائن. لتجاوز هذا القيد، نقترح تقسيم الأشياء في الفيديو بشكل تكيفي عبر الإنترنت (OnAVOS) والذي يقوم بتحديث الشبكة عبر الإنترنت باستخدام أمثلة تدريبية يتم اختيارها بناءً على ثقة الشبكة والتوزيع المكاني. بالإضافة إلى ذلك، نضيف خطوة تدريب أولي تعتمد على "الشيء" (objectness)، والتي يتم تعلمها على PASCAL. تظهر تجاربنا أن كلتا الإضافتين فعالتان للغاية وتحسنان الحالة الراهنة على DAVIS إلى درجة تقاطع فوق الاتحاد بنسبة 85.7%.