تعلم الميزات التمييزية باستخدام CRF للفصل الكائني للفيديو غير الخاضع للإشراف

في هذه الورقة، نقدّم شبكة جديدة تُسمّى الشبكة الوظيفية المميزة (DFNet) لمعالجة مهمة التجزئة غير المراقبة للأجسام في الفيديو. لالتقاط العلاقة الجوهرية بين إطارات الفيديو، نتعلم ميزات مميزة (D-features) من الصور المدخلة، والتي تكشف عن توزيع الميزات من منظور شامل. تُستخدم هذه الميزات المميزة بعد ذلك لتكوين تقابل مع جميع الميزات الخاصة بصورة الاختبار ضمن صيغة الحقل العشوائي الشرطي (CRF)، وذلك لتعزيز التماسك بين البكسلات. تُظهر التجارب أن DFNet تتفوّق على الطرق الأفضل حالياً بفارق كبير، حيث تحقق متوسط درجة IoU قدرها 83.4%، وتحتل المرتبة الأولى في قائمة التصنيف الخاصة بـ DAVIS-2016، مع استخدام عدد أقل بكثير من المعاملات، وتحقيق أداءً أكثر كفاءة بشكل كبير أثناء مرحلة الاستنتاج. كما قمنا بتقييم DFNet بشكل إضافي على مجموعة بيانات FBMS وبيانات الفيديو ذات التميّز (ViSal)، وحققنا حالة جديدة من الأداء المتميز. ولإثبات مرونة إطار العمل بشكل أكبر، تم تطبيق DFNet أيضاً على مهمة تجزئة الأشياء المشتركة في الصور. قمنا بإجراء تجارب على مجموعة بيانات صعبة تُسمّى PASCAL-VOC، ولاحظنا تفوق DFNet. تُثبت التجارب الشاملة أن DFNet قادرة على اكتشاف العلاقات الكامنة بين الصور وتعدينها، وتحديد الكائنات المُقدّمة المشتركة.