EpO-Net: استغلال القيود الهندسية على المسارات الكثيفة للسّرعة في التميّز الحركي

النهج الحالية لفصل الحركة البارزة لا تتمكن من تعلم الإشارات الهندسية بشكل صريح، وغالبًا ما تُنتج كشفًا خاطئًا على الكائنات الثابتة البارزة. نستفيد من القيود الهندسية متعددة المنظورات لتجنب هذه العيوب. ولمعالجة الخلفية غير الثابتة مثل البحر، نقترح أيضًا آلية دمج قوية بين السمات الحركية وسمات المظهر. وجدنا مسارات كثيفة تغطي كل بكسل في الفيديو، واقترحنا مسافات إبيبولار مبنية على المسارات لتمييز مناطق الخلفية عن مناطق المقدمة. وتشتهر مسافات إبيبولار المستندة إلى المسارات بأنها غير معتمدة على البيانات، ويمكن حسابها بسهولة عند توفر تطابق بسيط بين بعض السمات في الصور. ونُظهر أنه من خلال دمج المسافات الإبيبولارية مع التدفق البصري، يمكن تعلم شبكة حركية قوية. وبتمكين الشبكة من الاستفادة من هاتين الميزتين معًا، نقترح آلية بسيطة نسميها "إدخال-إيقاف" (input-dropout). ومقارنة بالشبكات التي تعتمد فقط على الحركة، نتفوق على أحدث النماذج السابقة على مجموعة بيانات DAVIS-2016 بنسبة 5.2% في متوسط درجة التداخل بين الإيجابيات (mean IoU). وبالإضافة إلى ذلك، وباستخدام آلية "إدخال-إيقاف" لدمج شبكتنا الحركية بشكل موثوق مع شبكة مظهرية، نتفوق أيضًا على الطرق السابقة على مجموعات بيانات DAVIS-2016 وDAVIS-2017 وSegTrackv2.