ReMOTS: تحسين تتبع وتقسيم الأشياء المتعددة ذاتيًا

نهدف إلى تحسين أداء تتبع وتقسيم الأهداف المتعددة (MOTS) من خلال التحسين. ومع ذلك، لا يزال من الصعب تحسين نتائج MOTS، ويمكن أن يُعزى السبب في ذلك إلى عدم تكيف ميزات المظهر مع مقاطع الفيديو المستهدفة، بالإضافة إلى صعوبة العثور على حدود مناسبة لتمييزها. لحل هذه المشكلة، نقترح إطارًا ذاتي الرقابة لتحسين MOTS (أي ReMOTS). يتكون الإطار ReMOTS بشكل أساسي من أربع خطوات لتحسين نتائج MOTS من وجهة نظر ربط البيانات:1. تدريب مُشفِّر المظهر باستخدام الأقنعة المتوقعة.2. ربط المشاهدات عبر الإطارات المجاورة لتشكيل قطع متابعة قصيرة المدى.3. تدريب مُشفِّر المظهر باستخدام قطع المتابعة القصيرة المدى كعلامات زائفة موثوقة.4. دمج قطع المتابعة القصيرة المدى إلى قطع متابعة طويلة المدى باستخدام ميزات المظهر المعتمدة والحدود التي يتم الحصول عليها تلقائيًا من المعلومات الإحصائية.باستخدام ReMOTS، حصلنا على المركز الأول في تحدي CVPR 2020 MOTS 1، بمعدل sMOTSA بلغ $69.9$.