شبكة العصبونات الرسمية المكانية-الزمنية المستندة إلى إعادة بناء القناع لفصل الأشياء في الفيديو

يتناول هذا البحث مهمة تقسيم الأشياء غير المحددة الفئة في بيئة شبه مراقبة. رغم أن الطرق السابقة القائمة على الكشف حققت أداءً نسبيًا جيدًا، فإن هذه النهج ت提取 أفضل اقتراح باستخدام استراتيجية طماعة، مما قد يؤدي إلى فقدان تفاصيل الرقع المحلية خارج المرشح المختار. في هذا البحث، نقترح شبكة عصبية بيانية زمانية-مكانية جديدة (STG-Net) لإعادة بناء أقنعة أكثر دقة لتقسيم الأشياء في الفيديو، والتي تستفيد من جميع الاقتراحات لالتقاط السياقات المحلية. في البيان المكاني، نعتبر اقتراحات الأشياء في الإطار كعقد ونمثل علاقاتها باستخدام استراتيجية وزن الحواف لتجميع سياق القناع. للحصول على المعلومات الزمنية من الإطارات السابقة، نستخدم شبكة ذاكرة لتحسين قناع الإطار الحالي باسترجاع الأقنعة التاريخية في البيان الزماني. يسمح استخدام التفاصيل المحلية للرقع والعلاقات الزمنية معًا لنا بمواجهة التحديات مثل إخفاء الأشياء والفقدان بشكل أفضل. بدون التعلم عبر الإنترنت أو التعديل الدقيق، تحقق شبكتنا العصبية STG-Net أداءً رائدًا على أربع مقاييس كبيرة (DAVIS، YouTube-VOS، SegTrack-v2، و YouTube-Objects)، مما يدل على فعالية النهج المقترح.