LSMVOS: مطابقة التشابه على المدى الطويل والقصير للكائنات في الفيديو

الهدف: يشير التجزئة المُراقبة شبهًا لل objetos في الفيديو إلى تجزئة الكائن في الإطارات اللاحقة مع إعطاء تسمية الكائن في الإطار الأول. تعتمد الخوارزميات الحالية بشكل رئيسي على أهداف مطابقة واستراتيجيات نقل، والتي تستخدم غالبًا الإطار السابق مع قناع أو التدفق البصري. تُستعرض في هذه الورقة طريقة نقل جديدة، وتُستخدم وحدات المطابقة قصيرة الأجل لاستخراج معلومات الإطار السابق وتطبيقها في عملية النقل، وتُقترح شبكة تُسمى "مطابقة التشابه على المدى الطويل والقصير للتجزئة المُراقبة شبهًا للكائنات في الفيديو" (LSMOVS). الطريقة: من خلال إجراء مطابقة على مستوى البكسل والارتباط بين وحدة المطابقة الطويلة الأجل ووحدة المطابقة القصيرة الأجل مع الإطار الأول والإطار السابق، يتم الحصول على خريطة التشابه العالمية وخرائط التشابه المحلية، بالإضافة إلى نمط السمات للإطار الحالي وقناع الإطار السابق. وبعد مرور البيانات عبر شبكتين للتحسين، يتم الحصول على النتائج النهائية من خلال شبكة التجزئة. النتائج: وفقًا للتجارب التي أُجريت على مجموعتي البيانات DAVIS 2016 و2017، حققت الطريقة المُقترحة متوسطًا جيدًا في دقة التشابه الإقليمي ودقة الحدود دون الحاجة إلى التخصيص المباشر (online fine tuning)، حيث بلغت النتائج 86.5% و77.4% على التوالي بالنسبة لكائن واحد وعدد متعدد من الكائنات. علاوةً على ذلك، بلغ عدد الإطارات المُجزَّأة في الثانية 21 إطارًا. الاستنتاج: تُظهر وحدة المطابقة القصيرة الأجل المُقترحة في هذه الورقة أنها أكثر فعالية في استخراج معلومات الإطار السابق مقارنةً باستخدام القناع وحده. وبدمج وحدة المطابقة الطويلة الأجل مع وحدة المطابقة القصيرة الأجل، يمكن للشبكة بأكملها تحقيق تجزئة فعّالة للكائنات في الفيديو دون الحاجة إلى التخصيص المباشر.