تقدير تدفق المشهد أحادي العدسة المستقل ذاتيًا

أصبحت تقدير تدفق المشهد (Scene Flow Estimation) تلقى اهتمامًا متزايدًا في مجال إدراك البيئة ثلاثية الأبعاد. يُعد تقدير تدفق المشهد الأحادي (Monocular Scene Flow Estimation) – وهو عملية استخلاص البنية ثلاثية الأبعاد والحركة ثلاثية الأبعاد من صور متتالية زمنيًا – مشكلة غير محددة جيدًا (ill-posed problem)، ولا تزال الحلول العملية مفقودة حتى الآن. نقترح طريقة جديدة لتقدير تدفق المشهد الأحادي تحقق دقة تنافسية وأداءً في الوقت الفعلي. وباتباع نهج مشكلة عكسية (inverse problem view)، صممنا شبكة عصبية متعددة الطبقات (CNN) واحدة قادرة على تقدير العمق والحركة ثلاثية الأبعاد بشكل متزامن من خلال حقل تكلفة تدفق الضوئي الكلاسيكي. واعتمدنا التعلم ذاتي التحفيز (self-supervised learning) باستخدام دوال خسارة ثلاثية الأبعاد واستنتاج التغطية (occlusion reasoning) للاستفادة من البيانات غير المُعلَّمة. وتم التحقق من اختيار التصميمات، بما في ذلك دالة الخسارة البديلة (proxy loss) وتكوين التحويلات (augmentation setup). تحقق نموذجنا دقة متقدمة مقارنةً بأساليب التعلم غير المُعلَّم/ذاتي التحفيز في تقدير تدفق المشهد الأحادي، كما يُظهر نتائج تنافسية في المهام الفرعية لتدفق الضوئي والتقدير الأحادي للعمق. وتحسّن الدقة بشكل إضافي من خلال التدريب الدقيق شبه المُعلَّم (semi-supervised fine-tuning)، مما يُعطي نتائج واعدة في الوقت الفعلي.