إكمال العمق بدون إشراف من خلال الملاحة البصرية القprarبية

نقدم طريقة لاستنتاج العمق الكثيف من حركة الكاميرا والعمق النادر المقدر باستخدام نظام الملاحة البصرية القابلة للحمل (Visual-Inertial Odometry). على عكس السيناريوهات الأخرى التي تستخدم السحب النقطية من الليدار أو أجهزة الإضاءة المنظمة، لدينا بضع مئات إلى بضع آلاف نقطة، وهي غير كافية لتوفير معلومات عن طوبولوجيا المشهد. تعتمد طريقتنا أولاً على بناء هيكل مشهد قطعي مستوي، ثم استخدام هذا الهيكل لاستنتاج العمق الكثيف باستخدام الصورة مع النقاط النادرة. نستخدم معيارًا متوقعًا عبر الأوضاع، مشابهًا لـ "الإشراف الذاتي" (Self-Supervision)، يقيس الاتساق الضوئي عبر الزمن، واتساق وضع الكاميرا ذهابًا وإيابًا، والتوافق الهندسي مع السحابة النقطية النادرة. كما نطلق أول مجموعة بيانات تجمع بين الملاحة البصرية القابلة للحمل والعمق، والتي نأمل أن تشجع على استكشافات إضافية في دمج قوى الحساسيات البصرية والقصور الذاتي التكميلية. لمقارنة طريقتنا مع الأعمال السابقة، نعتمد على معيار KITTI لإكمال العمق بدون إشراف، ونظهر أداءً رائدًا فيه. الرمز البرمجي متاح في: https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry.