LiteFlowNet: شبكة عصبية متخففة للتقدير البصري للتدفق

شبكة FlowNet2، وهي الشبكة العصبية التلافيفية (CNN) الرائدة في تقدير التدفق البصري، تتطلب أكثر من 160 مليون معلمة لتحقيق تقدير تدفق دقيق. في هذا البحث، نقدم شبكة بديلة تتفوق على FlowNet2 في المعايير الصعبة لـ Sintel Final Pass و KITTI، بينما تكون أصغر بمقدار 30 مرة من حيث حجم النموذج وأسرع بنسبة 1.36 مرة من حيث سرعة التشغيل. يتم تحقيق ذلك من خلال الغوص في تفاصيل العمارة التي قد تكون تم تجاهلها في الإطارات الحالية: (1) نقدم طريقة استدلال أكثر فعالية للتدفق في كل مستوى من مستويات الهرم من خلال شبكة متسلسلة خفيفة الوزن. ليس فقط يحسن هذه الطريقة دقة تقدير التدفق عن طريق التصحيح المبكر، بل يسمح أيضًا بدمج مطابقة الوصفاء بشكل سلس في شبكتنا. (2) نقدم طبقة تنظيم تدفق جديدة لتحسين مشكلة القيم الشاذة والحدود غير الواضحة للتدفق باستخدام اتصال محلي مدفوع بالخصائص. (3) تحتوي شبكتنا على هيكل فعال لاستخراج الخصائص الهرمية وتتبنى تحريف الخصائص بدلاً من تحريف الصور كما هو ممارس في FlowNet2. كودنا ونماذجنا المدربة متاحة على الرابط https://github.com/twhui/LiteFlowNet .