شبكة الهرم المتبقية الواعية للهيكل لتقدير العمق الأحادي العين

التقدير الأحادي للعمق هو مهمة أساسية لفهم المشهد. تعتبر البنية الأساسية للأجسام والأشياء في مشهد معقدة حاسمة لاستعادة خرائط عمق دقيقة وجذابة بصريًا. ينقل الهيكل العالمي تخطيطات المشهد، بينما يعكس الهيكل المحلي تفاصيل الشكل. لقد أدى النهج المطور مؤخرًا والمبني على شبكات العصبي المتكررة (CNNs) إلى تحسين كبير في أداء تقدير العمق. ومع ذلك، فإن القليل منها يأخذ بعين الاعتبار الهياكل متعددة المقاييس في المشاهد المعقدة. في هذا البحث، نقترح شبكة هرمية متباعدة بالهيكل (SARPN) للاستفادة من الهياكل متعددة المقاييس للتنبؤ الدقيق بالعمق. نقترح أيضًا مفكك هرمي متباعد (RPD) الذي يعبر عن هيكل المشهد العالمي في المستويات العليا لتمثيل التخطيطات، ويظهر الهيكل المحلي في المستويات الدنيا لتقديم تفاصيل الشكل. في كل مستوى، نقترح وحدات تعديل متباعدة (RRM) التي تتنبأ بخرائط التعديل لتضيف تدريجيًا هياكل أكثر دقة على الهيكل الخشن الذي تم التنبؤ به في المستوى الأعلى. من أجل استغلال كامل لميزات الصورة متعددة المقاييس، تم تقديم وحدة الاندماج الكثيف التكيفي (ADFF)، والتي تقوم بدمج الميزات الفعالة من جميع المقاييس بشكل تكيفي لاستنتاج هياكل كل مقاييس. أظهرت نتائج التجارب على مجموعة بيانات NYU-Depth v2 الصعبة أن النهج المقترح لدينا حقق أفضل الأداء في التقييم النوعي والكمي على حد سواء. يمكن الوصول إلى الرمز البرمجي من خلال الرابط: https://github.com/Xt-Chen/SARPN.