URVOS: شبكة تجزئة كائنات الفيديو المُشِيرَة الموحَّدة مع معيار على نطاق واسع

نُقدّم شبكة موحدة لفصل كائنات الكائنات في الفيديو بناءً على التعبيرات الإشارية (URVOS). تأخذ URVOS فيديوًّا وتعبيرًا إشارة كمدخلات، وتحدد أقنعة الكائنات {object masks} المقصودة بالتعبير اللغوي المعطى في جميع إطارات الفيديو. يعالج خوارزميتنا المشكلة الصعبة من خلال إجراء فصل الكائنات القائمة على اللغة ونقل القناع معًا باستخدام شبكة عصبية عميقة واحدة، مع دمج مناسب لنموذجين للانتباه. بالإضافة إلى ذلك، قمنا ببناء أول مجموعة بيانات كبيرة لفصل كائنات الكائنات في الفيديو بناءً على التعبيرات الإشارية تُدعى Refer-Youtube-VOS. قمنا بتقييم نموذجنا على مجموعتين معياريتين، بما في ذلك مجموعتنا، ونُظهر فعالية النهج المقترح. تم إصدار مجموعة البيانات عبر الرابط: https://github.com/skynbe/Refer-Youtube-VOS.