PWOC-3D: تقدير التدفق المناظري ثلاثي الأبعاد بعمق مع الوعي بالحجب من البداية إلى النهاية

في السنوات الأخيرة، أظهرت شبكات العصب المتكررة (CNNs) نجاحًا متزايدًا في تعلم العديد من مهام رؤية الحاسوب، بما في ذلك مشاكل التقدير الكثيف مثل التدفق البصري وتطابق الصور الاستريو. ومع ذلك، فإن التنبؤ المشترك بهذه المهام، المعروف باسم تدفق المشهد، كان يُعالج تقليديًا باستخدام طرق كلاسيكية بطيئة تعتمد على افتراضات أساسية لا تنجح في التعميم. العمل المقدم في هذا البحث يتغلب على هذه العيوب بكفاءة (من حيث السرعة والدقة) من خلال اقتراح PWOC-3D، وهي هندسة شبكة عصب متكررة مدمجة لتنبؤ تدفق المشهد من سلاسل الصور الاستريو في إعداد مشرف عليه بشكل كامل. بالإضافة إلى ذلك، تعتبر الحركات الكبيرة والاختفاء مشكلات معروفة في تقدير تدفق المشهد. يستخدم PWOC-3D قرارات تصميم متخصصة لنمذجة هذه التحديات بشكل صريح. وفي هذا السياق، نقترح استراتيجية ذاتية الإشراف جديدة للتنبؤ بالاختفاء من الصور (تم تعلمها دون أي بيانات اختفاء مصنفة). بفضل استخدام العديد من هذه البناءات، حققت شبكتنا نتائج تنافسية على مقاييس KITTI ومجموعة البيانات FlyingThings3D الصعبة. وبشكل خاص على KITTI، حقق PWOC-3D المركز الثاني بين طرق التعلم العميق المشرف عليها بشكل كامل مع 48 مرة أقل من المعلمات مقارنة بالطريقة الأعلى أداءً.