MVSNet: استدلال العمق للصيغ الثنائية غير المنظمة

نقدم معمارية تعلم عميقة من البداية إلى النهاية لاستدلال خريطة العمق من صور متعددة الزوايا. في الشبكة، نقوم أولاً باستخراج الخصائص البصرية العميقة للصور، ثم نبني حجم التكلفة ثلاثي الأبعاد على مخروط الكاميرا المرجعية باستخدام التحويل المتجانس القابل للمفاضلة (differentiable homography warping). بعد ذلك، نطبق عمليات التحويل الثلاثية الأبعاد لتنظيم وتراجع الخريطة الأولية للعمق، والتي يتم تحسينها بعد ذلك باستخدام الصورة المرجعية لإنتاج الإخراج النهائي. يتكيف إطارنا العمل بشكل مرنة مع مدخلات N-زاوية عشوائية باستخدام مؤشر تكلفة قائم على التباين يربط عدة خصائص في خاصية واحدة للتكلفة. يتم إثبات MVSNet المقترحة على مجموعة بيانات DTU الداخلية ذات الحجم الكبير. وبفضل المعالجة اللاحقة البسيطة، لا تتفوق طريقتنا فقط بشكل كبير على أفضل الأساليب السابقة فحسب، بل إنها أيضًا أسرع بمرات عدة في وقت التشغيل. كما قمنا بتقييم MVSNet على مجموعة بيانات Tanks and Temples الخارجية المعقدة، حيث تحتل طريقتنا المركز الأول قبل 18 أبريل 2018 دون أي ضبط دقيق، مما يظهر قدرة MVSNet القوية على التعميم.