P3Depth: تقدير العمق من صورة واحدة باستخدام سابقة التخطيط الجزئي

إن تقدير العمق من صورة واحدة يُعد أمرًا بالغ الأهمية لفهم المشهد والمهام اللاحقة. نركز على الإعداد المراقب، حيث تكون القيم الحقيقية للعمق متاحة فقط أثناء التدريب. وباستناد إلى المعرفة المتعلقة بالتنظيم العالي للمشاهد ثلاثية الأبعاد الحقيقية، نقترح طريقة تتعلم التمييز في استخدام المعلومات من النقاط التي تقع على نفس المستوى (النقاط المستوية) لتحسين التنبؤ بالعمق. بشكل خاص، نُدخل ما يُعرف بـ"الافتراض المستوي التجزئي"، والذي ينص على أن كل نقطة (بكسل) لديها نقطة بذرة (seed pixel) تشاركها نفس السطح المستوي ثلاثي الأبعاد. مستوحى من هذا الافتراض، نصمم شبكة ذات رأسين. يُنتج الرأس الأول معاملات المستوى على مستوى كل بكسل، بينما يُنتج الرأس الثاني حقلًا متجهيًا كثيفًا يحدد مواقع النقاط البذرية. ثم تُستخدم معاملات المستوى للنقاط البذرية للتنبؤ بالعمق في كل موقع. ويتم دمج التنبؤ الناتج تلقائيًا مع التنبؤ الأولي من الرأس الأول من خلال معامل ثقة متعلم، لمراعاة الاحتمالات الانحراف عن الاستواء المحلي الدقيق. وتُدرَّس البنية الكاملة بشكل متكامل (end-to-end) بفضل قابلية التمايز في الوحدات المقترحة، وتتعلم توليد خرائط عمق منتظمة، مع حواف حادة عند حدود الظل (الانقطاعات). تُظهر تقييماتنا الواسعة أننا قد وصلنا إلى الحالة المتطورة الجديدة في تقدير العمق من صورة واحدة المراقبة، وتفوقنا على الطرق السابقة على مجموعة بيانات NYU Depth-v2 وعلى تقسيم Garg لبيانات KITTI. تعطي طريقة لدينا خرائط عمق تؤدي إلى إعادة بناء ثلاثية الأبعاد متماسكة للمشاهد المدخلة. يمكن الوصول إلى الكود من خلال: https://github.com/SysCV/P3Depth