3DVNet: التنبؤ بالعمق متعدد الآراء والتحسين الحجمي

نقدم 3DVNet، وهي طريقة جديدة متعددة المناظر (MVS) لتنبؤ العمق تجمع بين مزايا الطرق السابقة القائمة على العمق والطرق الحجمية MVS. الفكرة الأساسية لدينا هي استخدام شبكة نمذجة المشهد ثلاثية الأبعاد تقوم بتحديث مجموعة من التوقعات الأولية للعمق بشكل تكراري، مما يؤدي إلى توقعات عالية الدقة تتفق مع الهندسة الأساسية للمشهد. على عكس التقنيات الحالية لتنبؤ العمق، يستخدم أسلوبنا شبكة عصبية اصطناعية حجمية ثلاثية الأبعاد (CNN) تعمل في الفضاء العالمي على جميع خرائط العمق مجتمعة. وبالتالي يمكن للشبكة أن تتعلم أولويات ذات معنى على مستوى المشهد. بالإضافة إلى ذلك، على عكس التقنيات الحالية الحجمية MVS، تعمل شبكتنا CNN ثلاثية الأبعاد على سحابة نقاط محسنة بالخصائص، مما يسمح بدمج فعال لمعلومات متعددة المناظر وتحسين مرنة تكرارية لخرائط العمق. تظهر النتائج التجريبية أن طرقنا تتخطى دقة الطراز الحالي في كل من تنبؤ العمق ومؤشرات إعادة بناء ثلاثي الأبعاد في مجموعة بيانات ScanNet، وكذلك مجموعة من المشاهد من مجموعتي بيانات TUM-RGBD وICL-NUIM. وهذا يدل على أن طرقنا فعالة وتعمم إلى إعدادات جديدة.