التوليد التفسيري لإنجاز العمق الداخلي

إن استكمال العمق يُعيد بناء خريطة عمق كثيفة من قياسات الحساسات. تُركّز الطرق الحالية بشكل رئيسي على قياسات عمق شديدة الندرة الناتجة عن أجهزة ليدار في البيئات الخارجية، بينما تُستخدم حساسات زمن الطيران (ToF) أو حساسات الضوء المُنظّم بشكل رئيسي في المشاهد الداخلية. توفر هذه الحساسات خرائط شبه كثيفة، حيث تكون القياسات كثيفة في بعض المناطق وتكون شبه فارغة في مناطق أخرى. نقترح نموذجًا جديدًا يأخذ بعين الاعتبار الفرق الإحصائي بين هذه المناطق. تكمن مساهمتنا الرئيسية في إدخال فرع جديد للتعديل (modulation branch) إلى بنية المُشفر-المُفكّك (encoder-decoder). يُستخرج المُشفر الميزات من صورة RGB المُدمجة مع بيانات العمق الخام. وباستخدام قناع القيم المفقودة كمدخل، يُتحكم الفرع المقترح في عملية فك التشفير لاستعادة خريطة عمق كثيفة من هذه الميزات بشكل مختلف حسب المنطقة. ويُنفَّذ هذا التحكم من خلال تعديل التوزيع المكاني للإشارات الناتجة داخل المُفكّك باستخدام كتل التطبيع المُتكيف مكانيًا (SPADE). أما مساهمتنا الثانية فهي استراتيجية تدريب جديدة تسمح لنا بتدريب النموذج على بيانات حساسات شبه كثيفة حتى في حال عدم توفر خريطة عمق حقيقية (ground truth). يحقق نموذجنا أفضل النتائج المُحققة حتى الآن على مجموعة بيانات Matterport3D الداخلية. وبما أنه صُمّم ليدعم مدخلات عمق شبه كثيفة، يظل منافسًا قويًا للطرق المُصممة خصيصًا لأجهزة ليدار على مجموعة بيانات KITTI. كما أظهرت استراتيجية التدريب المقترحة تحسينًا ملحوظًا في جودة التنبؤ، حتى في غياب بيانات عمق كثيفة، وذلك بتأكيد من خلال تجربة على مجموعة بيانات NYUv2.