شبكة عصبية دورية للتعلم (غير المراقب) لاستشعار الحركة البصرية والعمق من فيديو أحادي العدسة

أظهرت الطرق الحديثة لاستخلاص العمق من منظور واحد تعتمد على التعلم العميق نتائج واعدة للغاية. ومع ذلك، فإن هذه الطرق تتجاهل أحد أهم السمات التي تُستخدم في نظام الرؤية البشري لتحديد العمق، وهو الحركة. نقترح طريقة قائمة على التعلم لاستخلاص خريطة عمق كثيفة متعددة المناظر وتقدير الحركة البصرية (odometry)، تستخدم الشبكات العصبية التكرارية (RNN) وتدرب باستخدام خسائر إعادة تكوين الصور من منظور متعدد وخرائط تدفق أمامية-خلفية متسقة. يمكن تدريب نموذجنا بطريقة مراقبة أو حتى غير مراقبة. صُمّم النموذج لتقدير العمق والحركة البصرية من مقاطع فيديو حيث تكون الإطارات المدخلة مرتبطة زمنياً. ومع ذلك، فإنه يُعمّم أيضاً على تقدير العمق من منظور واحد. حققت طريقةنا نتائج أفضل من أحدث الطرق المبنية على التعلم في استخلاص العمق من منظور واحد ومتعدد المناظر على مجموعة بيانات KITTI لقيادة المركبات.