إعادة النظر في تمثيل الاستريو متعدد الآراء: MVSNet القائم على المنطقة

التعلم العميق المستند إلى التصوير الاستريو متعدد الآراء ظهر كنموذج قوي لإعادة بناء الأجسام ذات التفاصيل الهندسية الكاملة من عدة آراء. ومع ذلك، فإن معظم النهج الحالية تقتصر على تقدير قيمة العمق لكل بكسل عن طريق تقليل الفجوة بين النقطة المتوقعة ونقطة تقاطع الشعاع مع السطح، مما يؤدي عادةً إلى إغفال طوبولوجيا السطح. هذا الأمر ضروري بالنسبة للمناطق الخالية من النسيج وحدود السطح التي لا يمكن إعادة بنائها بشكل صحيح. لحل هذه المشكلة، نقترح الاستفادة من مسافة النقطة إلى السطح بحيث يكون بإمكان النموذج الإدراك لنطاق أوسع من الأسطح. لتحقيق هذا الهدف، نتنبأ بحجم المسافة من حجم التكلفة لتقدير المسافة الموقعة للنقاط حول السطح. يُعد النموذج المقترح RA-MVSNet حساسًا للشرائح (patch-awared)، حيث يتم تعزيز نطاق الإدراك من خلال ربط الطائرات الوهمية بشريحة سطحية. وبالتالي، يمكن زيادة اكتمال المناطق الخالية من النسيج وتقليل النقاط الخارجية عند الحدود. بالإضافة إلى ذلك، يمكن توليد طوبولوجيات الشبكة ذات التفاصيل الدقيقة بواسطة حجم المسافة المُدخل. بالمقارنة مع الطرق التقليدية القائمة على التعلم العميق في التصوير الاستريو متعدد الآراء، يحصل نهجنا المقترح RA-MVSNet على نتائج إعادة بناء أكثر اكتمالًا بفضل الرقابة على المسافة الموقعة. تُظهر التجارب التي أجريت على كلٍ من مجموعات بيانات DTU وTanks & Temples أن نهجنا المقترح يحقق أفضل النتائج الحالية (state-of-the-art).