PReMVOS: إنشاء الاقتراحات، التحسين والدمج لتمييز الأشياء في الفيديو

نتناول مشكلة تقسيم الأشياء في الفيديو شبه المشرف (Semi-Supervised Video Object Segmentation)، وهي مهمة توليد أقنعة بكسل دقيقة ومتسقة للأجسام في سلسلة فيديو، مع وجود التسميات الحقيقية للإطار الأول كمدخلات. لتحقيق هذا الهدف، نقدم خوارزمية PReMVOS ( Proposal-generation, Refinement and Merging for Video Object Segmentation). طريقتنا تنقسم هذه المشكلة إلى خطوتين: أولاً، توليد مجموعة من اقتراحات أقنعة التقسيم الدقيقة للأجسام لكل إطار في الفيديو، ثم اختيار ودمج هذه الاقتراحات في مسارات أجسام بكسلية دقيقة ومتسقة زمنياً عبر سلسلة الفيديو، بطريقة مصممة خصيصاً لمعالجة التحديات الصعبة المرتبطة بتقسيم عدة أجسام على مدى سلسلة الفيديو.نهجنا يتفوق على جميع النتائج السابقة التي حققتها أفضل الأساليب في معيار تقسيم الأجسام في الفيديو DAVIS 2017 بدرجة متوسطة لمقياس J & F تبلغ 71.6 على مجموعة الاختبار-التطوير (test-dev dataset)، ويحقق المركز الأول في كل من تحدي تقسيم الأجسام في الفيديو DAVIS 2018 وتحدي تقسيم الأجسام في الفيديو على نطاق واسع YouTube-VOS.