HyperAIHyperAI
منذ 2 أشهر

ProFlow: تعلم التنبؤ بتدفق البصريات

Daniel Maurer; Andrés Bruhn
ProFlow: تعلم التنبؤ بتدفق البصريات
الملخص

التماسك الزمني هو مصدر معلومات قيمة في سياق تقدير التدفق البصري. ومع ذلك، فإن العثور على نموذج حركة مناسب للاستفادة من هذه المعلومات يعتبر مهمة غير بسيطة. في هذا البحث، نقترح نهجًا للتعلم عبر الإنترنت بدون إشراف يعتمد على شبكة عصبية ارتباطية (CNN) لتقييم مثل هذا النموذج الحركي لكل إطار بشكل منفصل. من خلال ربط الحركة الأمامية والخلفية، تسمح هذه النماذج المُتعلمة ليس فقط باستنتاج معلومات حركة قيمة بناءً على التدفق الخلفي، بل تساعد أيضًا على تحسين الأداء عند الانغلاقات، حيث يكون التنبؤ الموثوق به مفيدًا بشكل خاص. بالإضافة إلى ذلك، تكون نماذجنا المُتعلمة متغيرة فضائيًا، مما يتيح تقدير الحركة اللامرونة بالبناء. وهذا بدوره يسمح بتخطي القيود الرئيسية للنهج القائمة على الصلابة التي تحاول تحسين التقدير من خلال دمج قيود إضافية Stereo/SfM (استريو/استخراج النموذج من الحركة). تظهر التجارب فائدة نهجنا الجديد. فهي لا تظهر فقط تحسنًا ثابتًا بنسبة تصل إلى 27٪ لجميع المقاييس الرئيسية (KITTI 2012، KITTI 2015، MPI Sintel) مقارنة بالنموذج الأساسي دون التنبؤ، بل تظهر أيضًا أفضل النتائج لمقاييس MPI Sintel -- وهو أحد الثلاثة مقاييس التي تحتوي على أكبر كمية من الحركة اللامرونة.

ProFlow: تعلم التنبؤ بتدفق البصريات | أحدث الأوراق البحثية | HyperAI