SWEM: نحو تقسيم الأشياء في الفيديو في الوقت الحقيقي باستخدام التوقع والتقدير الموزون المتسلسل

الطرق القائمة على التطابق، خاصة تلك التي تعتمد على ذاكرة الزمان والمكان، تتفوق بشكل كبير على الحلول الأخرى في تقسيم الأشياء في الفيديو شبه المشرف (VOS). ومع ذلك، فإن النماذج القالبية المتزايدة باستمرار والمكررة تؤدي إلى استدلال غير فعال. لحل هذه المشكلة، نقترح شبكة جديدة تسمى الشبكة التسلسلية للتقدير المرجح الأقصى (SWEM) لتقليل ارتفاع التكرار في ميزات الذاكرة بشكل كبير. بخلاف الطرق السابقة التي تكتشف فقط التكرار بين الإطارات، تقوم SWEM بدمج الميزات المشابهة داخل الإطار وبين الإطارات من خلال الاستفادة من خوارزمية EM المرجحة التسلسلية. بالإضافة إلى ذلك، توفر الأوزان المتكيفة للميزات الإطارية لـ SWEM المرونة للتعبير عن العينات الصعبة، مما يحسن تمييز النماذج. علاوة على ذلك، تحتفظ الطريقة المقترحة بعدد ثابت من ميزات النماذج في الذاكرة، مما يضمن استقرار تعقيد الاستدلال لنظام VOS. أثبتت التجارب الواسعة على مجموعات البيانات الشائعة DAVIS و YouTube-VOS كفاءة عالية (36 إطارًا في الثانية) وأداءً ممتازًا (84.3٪ $\mathcal{J}\&\mathcal{F}$ على مجموعة بيانات DAVIS 2017 للتحقق) لشبكة SWEM. يمكن الوصول إلى الكود عبر الرابط: https://github.com/lmm077/SWEM.