PWC-Net: شبكات النيورونات العصبية المت convoled للتدفق البصري باستخدام الهرم، التحوير، وحجم التكلفة

نقدم نموذجًا مدمجًا ولكنه فعال من نوع شبكات النيورونات المتشابكة للتدفق البصري، يُطلق عليه اسم PWC-Net. تم تصميم PWC-Net وفقًا لمبادئ بسيطة ومعروفة جيدًا: المعالجة الهرمية، التواء الصورة (Warping)، واستخدام حجم التكلفة (Cost Volume). في إطار هرمية الخصائص القابلة للتعلم، يستخدم PWC-Net التقدير الحالي للتدفق البصري لتواءم خصائص CNN للصورة الثانية. ثم يستخدم الخصائص الملتويّة والخصائص الأولى للصورة الأولى لبناء حجم التكلفة، الذي يتم معالجته بواسطة CNN لتقدير التدفق البصري. يبلغ حجم PWC-Net 17 مرة أصغر ويكون أسهل في التدريب مقارنة بنموذج FlowNet2 الحديث. علاوة على ذلك، فإنه يتفوق على جميع الأساليب المنشورة للتدفق البصري في اختبارات الأداء النهائية لـ MPI Sintel و KITTI 2015، حيث يعمل بمعدل حوالي 35 صورة في الثانية على صور بدقة Sintel (1024x436). يمكن الوصول إلى نماذجنا عبر الرابط https://github.com/NVlabs/PWC-Net.