HMS-Net: شبكة متعددة القياسات الهرمية الثابتة للندرة لإكمال العمق النادر

الدلالات الكثيفة للعمق مهمة ولها تطبيقات واسعة في مهام الرؤية الحاسوبية المختلفة. في قيادة السيارات ذاتية القيادة، يتم استخدام أجهزة استشعار الليدار (LIDAR) للاستحواذ على قياسات العمق حول السيارة لفهم البيئة المحيطة. ومع ذلك، فإن خرائط العمق التي يتم الحصول عليها بواسطة الليدار عادة ما تكون نادرة بسبب قيود الأجهزة. يجذب مهمة إكمال العمق اهتمامًا متزايدًا، والتي تهدف إلى توليد خريطة عمق كثيفة من خريطة عمق نادرة كمدخل. لاستخدام الفعّال للميزات متعددة المقاييس، نقترح ثلاثة عمليات جديدة ثابتة مع الندرة، على أساسها تم أيضًا اقتراح شبكة مُشفر-مُفكك متعددة المقاييس ثابتة مع الندرة (HMS-Net) للتعامل مع المدخلات النادرة وخرائط الميزات النادرة. يمكن دمج ميزات RGB إضافية لتحسين أداء إكمال العمق بشكل أكبر. تظهر تجاربنا الواسعة وتحليل المكونات على معيارين عامين، معيار إكمال العمق KITTI وقاعدة بيانات NYU-depth-v2، فعالية النهج المقترح. اعتبارًا من 12 أغسطس 2018، وعلى لوحة الترتيب الخاصة بإكمال العمق في KITTI، يحتل نموذجنا المقترح بدون إرشاد RGB المركز الأول بين جميع الأساليب التي تم مراجعتها من النظراء دون استخدام معلومات RGB، بينما يحتل نموذجنا بإرشاد RGB المركز الثاني بين جميع الأساليب التي تعتمد على الإرشاد بالـRGB.