تدفق المشهد المنفرد متعدد الإطارات المستقل ذاتيًا

أصبح تقدير تدفق المشهد ثلاثي الأبعاد من تسلسل من الصور الأحادية (المنوكولار) موضوعًا يحظى باهتمام متزايد بفضل بساطة وتكلفة النظام المُستخدم في التسجيل. وبسبب طبيعة المشكلة التي تُعدّ شديدة التحدي من حيث عدم التحديد (ill-posedness)، ظل دقة الطرق الحالية محدودة، وخاصةً الطرق الفعّالة التي تعمل في الزمن الحقيقي. في هذه الورقة، نقدم شبكة تدفق مشهد أحادية متعددة الإطارات تعتمد على التعلم ذاتي التحفيز (self-supervised learning)، مما يُحسّن الدقة مقارنة بالشبكات السابقة مع الحفاظ على الكفاءة الزمنية في الزمن الحقيقي. بالاعتماد على نموذج أساسي متطور يعتمد على إطارين مع تصميم فكّ التشفير المُقسم (split-decoder)، نقترح (أ) نموذجًا متعدد الإطارات يستخدم إدخالًا مكوّنًا من ثلاثة إطارات واتصالات LSTM ذاتية التوسع (convolutional LSTM)، (ب) دالة خسارة قائمة على التعداد المُدرك للإغلاق (occlusion-aware census loss) لتحسين الدقة، و(ج) استراتيجية فصل التدرج (gradient detaching) لتحسين استقرار التدريب. وعند تطبيقها على مجموعة بيانات KITTI، نلاحظ تحقيق أفضل دقة محققة حتى الآن بين الطرق الأحادية لتقدير تدفق المشهد التي تعتمد على التعلم ذاتي التحفيز.