التفصيل التشاركي للكائنات المرئية من خلال دمج المقدمة والخلفية

يقوم هذا البحث بدراسة مبادئ تعلم التضمين لمعالجة تحدي التقطيع شبه المشرف للأشياء في الفيديو. على عكس الممارسات السابقة التي تستكشف تعلم التضمين باستخدام البكسل من الأشياء في المقدمة فقط، نعتبر أن الخلفية يجب معاملتها بالتساوي ونقترح بذلك نهج التقطيع التعاوني للأجسام في الفيديو من خلال دمج المقدمة والخلفية (CFBI). يفرض نهجنا CFBI بشكل ضمني تضمين السمات بين الجسم المستهدف في المقدمة وخلفيته المرتبطة به ليكونا متناقضين، مما يعزز نتائج التقطيع وفقًا لذلك. باستخدام تضمين السمات من كل من المقدمة والخلفية، يقوم CFBI بعملية التطابق بين السلسلة المرجعية والسلسلة المتوقعة على مستويي البكسل والمثيلات، مما يجعله قويًا أمام مختلف مقاييس الأجسام. أجرينا تجارب واسعة النطاق على ثلاثة مقاييس شائعة وهي DAVIS 2016، DAVIS 2017، وYouTube-VOS. حقق نهجنا CFBI أداءً (J$F) بنسبة 89.4%، 81.9%، و81.4% على التوالي، مما يتفوق على جميع الطرق الرائدة الأخرى. الكود: https://github.com/z-x-yang/CFBI.