التعامل الضمني مع الحركة للكشف عن الأشياء المموهة في الفيديو

نقترح إطارًا جديدًا للكشف عن الأشياء المموهة في الفيديو (VCOD) يمكنه استغلال الديناميكيات قصيرة المدى والتوافق الزمني طويل المدى لاكتشاف الأشياء المموهة من إطارات الفيديو. من الخصائص الأساسية للأجسام المموهة أنها غالبًا ما تظهر بنماذج مشابهة للخلفية، مما يجعلها صعبة التمييز من الصور الثابتة. لذلك، يصبح التعامل بكفاءة مع الديناميكيات الزمنية في مقاطع الفيديو مفتاح مهم لمهمة VCOD، حيث ستكون الأجسام المموهة واضحة عند حركتها. ومع ذلك، غالبًا ما تعتمد الطرق الحالية لـ VCOD على التجانس أو التدفقات البصرية لتمثيل الحركة، حيث قد تتراكم أخطاء الكشف من أخطاء تقدير الحركة وأخطاء التقسيم. من ناحية أخرى، توحّد طرقنا تقدير الحركة وتقسيم الكائنات ضمن إطار واحد للمعايير. تحديدًا، نبني حجم ارتباط كثيف لالتقاط الحركات ضمن الإطارات المجاورة بشكل ضمني ونستفيد من الرقابة النهائية للتقسيم لتحسين تقدير الحركة الضمني والتقسيم معًا. بالإضافة إلى ذلك، لتحقيق التوافق الزمني داخل سلسلة الفيديو، نستخدم متحول فضائي-زماني (Spatio-Temporal Transformer) لتصحيح التوقعات قصيرة المدى بشكل مشترك. تُظهر التجارب الواسعة على معايير VCOD فعالية البنية المقترحة لدينا. كما نوفر مجموعة بيانات كبيرة لـ VCOD باسم MoCA-Mask تحتوي على أقنعة أساسية تم تصميمها يدويًا على مستوى البكسل ونبني معيارًا شاملًا لـ VCOD بالتعاون مع الطرق السابقة لتسهيل البحث في هذا المجال.رابط مجموعة البيانات: https://xueliancheng.github.io/SLT-Net-project.