StructDepth: الاستفادة من منتظّمات البنية لتقدير العمق الداخلي ذاتيًا بدون تدريب

أظهرت تقدير العمق من منظور واحد ذاتي التدريب أداءً مبهرًا على مجموعات بيانات خارجية. ومع ذلك، ينخفض أداؤها بشكل ملحوظ في البيئات الداخلية بسبب نقص النسيج. في غياب النسيج الغني، تكون الاتساق الضوئي ضعيفًا جدًا بحيث لا يمكن تدريب شبكة عمق جيدة. مستوحى من الدراسات المبكرة في نمذجة البيئات الداخلية، نستفيد من الانسيابية الهيكلية التي تظهر في المشاهد الداخلية لتدريب شبكة عمق أفضل. وبشكل خاص، نستخدم إشارتين إشرافيتين إضافيتين للتدريب الذاتي: 1) قيد الاتجاهات المانهاتن للNormals، و2) قيد المستويات المتوازية. يفرض قيد الاتجاهات المانهاتن للNormals أن تكون الأسطح الرئيسية (الأرضية، السقف، والجدران) محاذاة مع الاتجاهات السائدة. ويؤكد قيد المستويات المتوازية أن النقاط الثلاثية الأبعاد يجب أن تُناسب بشكل جيد بمستوى إذا كانت موجودة ضمن منطقة مستوية واحدة. لتكوين إشارات الإشراف هذه، نعتمد على مكونين لتصنيف الاتجاهات العظمى لNormals السطحية وتحديد المناطق المستوية بشكل فوري أثناء التدريب. وبما أن تقدير العمق يتحسن تدريجيًا مع تقدم عدد دورات التدريب، تتحسن إشارات الإشراف أيضًا، مما يُعيد تغذية هذه الإشارات لتحسين نموذج العمق بشكل أفضل. من خلال تجارب واسعة على مجموعات بيانات معيارية داخلية، أظهرت النتائج أن شبكتنا تتفوق على أحدث الطرق. يمكن الوصول إلى الكود المصدري عبر الرابط: https://github.com/SJTU-ViSYS/StructDepth.