تقدير العمق القائم على البنية الهندسية والمنظم من الصور الداخلية 360 درجة

مُحفَّزين بالعلاقة بين العمق والبنية الهندسية للصورة الداخلية ثلاثية الأبعاد (360)، نقترح إطارًا جديدًا قائمًا على التعلم يعتمد على البنية الهندسية للمنظر لتقدير العمق. وبشكل محدد، نُمثّل البنية الهندسية للمنظر الداخلي كمجموعة من الزوايا والحدود والمستويات. من ناحية، بمجرد تقدير خريطة العمق، يمكن استخلاص البنية الهندسية من خريطة العمق المقدرة؛ وبالتالي، تُستخدم البنية الهندسية كعامل تنظيم (Regularizer) في تقدير العمق. ومن ناحية أخرى، يُستفيد هذا التقدير أيضًا من البنية الهندسية التي تُستخلص من الصورة، حيث تُؤدي هذه البنية دورًا كمعلومة أولية (Prior). ومع ذلك، فإن وجود الأثاث في المناظر الداخلية يُصعّب استخلاص البنية الهندسية من بيانات العمق أو الصور. ولتسهيل تقدير العمق من خلال خصائص البنية الهندسية، وكذلك لتحسين استخلاص البنية الهندسية من خريطة العمق المقدرة، نُحدِّد خريطة انتباه (Attention Map). ولتأكيد فعالية كل عنصر في إطارنا تحت ظروف مُحكَمة، نُنشئ مجموعة بيانات مُصَنَّعة، تُسمى "شانغهايتك-كو جيا لي داخلية 360"، والتي تحتوي على 3550 صورة داخلية ثلاثية الأبعاد. وتوحي النتائج التجريبية الواسعة على مجموعات بيانات شهيرة بفعالية الحل المُقترح. كما نُظهِر أن طريقةً لدينا يمكن تطبيقها أيضًا على تقدير العمق التخيّلي (Counterfactual Depth).