تخمين ما يتحرك: تقسيم الفيديو والصور دون إشراف من خلال توقع الحركة

الحركة، التي يتم قياسها عبر التدفق البصري (optical flow)، توفر إشارة قوية لاكتشاف وتعلم الأشياء في الصور والفيديوهات. ومع ذلك، مقارنة باستخدام المظهر (appearance)، فإنها لديها بعض النقاط العمياء، مثل حقيقة أن الأشياء تصبح غير مرئية إذا لم تتحرك. في هذا العمل، نقترح نهجًا يجمع بين نقاط القوة في تقسيم الأشياء بناءً على الحركة وبناءً على المظهر. نقترح إشراف شبكة تقسيم الصور بمهمة سابقة هي التنبؤ بالمناطق التي من المحتمل أن تحتوي على أنماط حركة بسيطة، وبالتالي من المحتمل أن تكون متناظرة مع أشياء. حيث يستخدم النموذج صورة واحدة فقط كمدخل، يمكن تطبيقه في حالين: تقسيم الفيديو بدون إشراف، وتقسيم الصور بدون إشراف. نحقق أفضل النتائج المتاحة حاليًا للفيديوهات ونثبت جدوى نهجنا على الصور الثابتة التي تحتوي على أشياء جديدة. بالإضافة إلى ذلك، نجري تجارب مع نماذج حركة مختلفة وأنوية التدفق البصري (optical flow backbones) ونجدها مقاومة لهذه التغييرات. صفحة المشروع والكود متوفرين على الرابط: https://www.robots.ox.ac.uk/~vgg/research/gwm.