شبكة Auto-Rectify لتقدير العمق الداخلي غير المراقب

أظهرت تقنيات تقدير العمق من منظور واحد باستخدام الشبكات العصبية العميقة (CNNs) التي تم تدريبها على مقاطع فيديو غير مُسَمَّاة تقدمًا ملحوظًا. ومع ذلك، فإن النتائج الممتازة تم تحقيقها في المُشاهدات الشارعية المتعلقة بالقيادة، بينما تفشل هذه الأساليب غالبًا في بيئات أخرى، خاصة مقاطع الفيديو الداخلية التي يتم تسجيلها باستخدام أجهزة محمولة. في هذه الدراسة، نُثبت أن الحركات الذاتية المعقدة التي تظهر في البيئات المحمولة تمثل عقبة جوهرية أمام تعلم العمق. وتشير تحليلاتنا الأساسية إلى أن الدوران يُعامل كضجيج أثناء التدريب، على عكس الانتقال (القاعدة)، الذي يوفر إشارات إشراف فعّالة. وللتغلب على هذا التحدي، نقترح طريقة ما قبل المعالجة للبيانات تقوم بتصحيح الصور التدريبية من خلال إزالة دورانها النسبي، مما يُمكّن من تعلم أكثر فعالية. ويُثبت الأداء المُحسَّن بشكل كبير دوافعنا في هذا الاتجاه. وبهدف تحقيق التعلم من البداية إلى النهاية دون الحاجة إلى معالجة مسبقة، نقترح شبكة "Auto-Rectify" ذات دوال خسارة جديدة، التي يمكنها تعلُّم تصحيح الصور تلقائيًا أثناء التدريب. ونتيجة لذلك، تفوق نتائجنا بشكل كبير الطريقة السابقة الأفضل من حيث الأداء (SOTA) غير المُشرَّفة على مجموعة بيانات NYUv2 الصعبة. كما نُظهر قدرة النموذج المدرب على التعميم على مجموعات بيانات ScanNet وMake3D، بالإضافة إلى عالمية المنهجية المُقترحة على مجموعات بيانات 7-Scenes وKITTI.