منذ 2 أشهر

الاقتراح، والتتبع، والتقسيم (PTS): شبكة متسلسلة لتقسيم الكائنات في الفيديو

Zhou, Qiang ; Huang, Zilong ; Huang, Lichao ; Gong, Yongchao ; Shen, Han ; Huang, Chang ; Liu, Wenyu ; Wang, Xinggang

الملخص

يهدف تقسيم الأشياء في الفيديو (VOS) إلى تتبع الأشياء على مستوى البكسل مع وجود توضيحات فقط في الإطار الأول. وعلى الرغم من التطور السريع لتعلم العمق، فإن هذه المهمة لا تزال صعبة بسبب التغيرات البصرية الكبيرة للأجسام في الفيديو ونقص عينات التدريب. بهدف حل مشكلة VOS، نقدم عدة رؤى جديدة من خلال الإطار الموحد المقترح الذي يتكون من مكونات اقتراح الأجسام، والتتبع، والتقسيم. تقوم شبكة اقتراح الأجسام بنقل المعلومات المتعلقة بالأجسام كمعارف عامة إلى VOS؛ بينما تحدد شبكة التتبع الجسم المستهدف من الاقتراحات؛ وتُنفَّذ شبكة التقسيم على أساس نتائج التتبع باستخدام نظام جديد لتكييف النموذج يعتمد على مرجع ديناميكي. تم إجراء تجارب واسعة النطاق على مجموعة بيانات DAVIS'17 ومجموعة بيانات YouTube-VOS، حيث حققت طريقة البحث أداءً متقدمًا في عدة مقاييس لتقسيم الأجسام في الفيديو. نحن نجعل الرمز البرمجي متاحًا للعامة على الرابط https://github.com/sydney0zq/PTSNet.