إكمال العمق غير المراقب مع طبقات إعادة التصوير المُعدَّلة

نُقدّم بنية شبكة عصبية عميقة لاستنتاج العمق الكثيف من صورة واحدة وسحابة نقطية متناثرة. تُدرّس الشبكة باستخدام تدفق فيديو وسحابة نقطية متناثرة مزامنة معه، كما يتم الحصول عليها من مستشعر ليدار أو أي مستشعر مسافة آخر، إلى جانب معاملات التصحيح الداخلي للكاميرا. أثناء الاستدلال، يتم إدخال تصحيح الكاميرا، الذي قد يختلف عن الذي استُخدم في التدريب، إلى جانب السحابة النقطية المتناثرة والصورة الفردية. تُعيد الطبقة المُعدّلة للإسقاط (Calibrated Backprojection Layer) كل بكسل في الصورة إلى الفضاء ثلاثي الأبعاد باستخدام مصفوفة التصحيح ومُميّز ميزة العمق. ثم يتم دمج الترميز المكاني ثلاثي الأبعاد الناتج مع مُميّز الصورة ومخرج الطبقة السابقة لتكوين المدخل إلى الطبقة التالية في المُشفّر (encoder). يُنتج مُفكّك (decoder) يعتمد على اتصالات تخطّية (skip-connections) خريطة عمق كثيفة. يُسمّى الشبكة الناتجة، المعروفة باسم KBNet، تُدرّس دون إشراف من خلال تقليل خطأ إعادة تكوين الصورة الضوئية (photometric reprojection error). تقوم KBNet باستنتاج القيم المفقودة للعمق بناءً على مجموعة التدريب، وليس بناءً على تنظيم عام. تم اختبار KBNet على معايير عامة لاستكمال العمق، حيث تفوقت على أحدث التقنيات بنسبة 30.5% في البيئات الداخلية و8.8% في البيئات الخارجية عندما تُستخدم نفس الكاميرا في التدريب والاختبار. أما عند استخدام كاميرا مختلفة في الاختبار، فإن التحسين يصل إلى 62%. الكود متاح على: https://github.com/alexklwong/calibrated-backprojection-network.