GeoMVSNet: التعلم في الرؤية المزدوجة من عدة زوايا مع إدراك هندسي

تُظهر الطرق الحديثة المتسلسلة لاستereo متعدد الزوايا (MVS) قدرة فعّالة على تقدير خرائط العمق عالية الدقة من خلال تضييق نطاق الفرضيات. ومع ذلك، فقد أهملت الطرق السابقة المعلومات الهندسية الحيوية المضمنة في المراحل الخشنة، مما أدى إلى تطابق تكلفة ضعيف ونتائج إعادة بناء غير مثلى. في هذه الورقة، نقترح نموذجًا يُعرف بـ GeoMVSNet، يُراعي بشكل صريح المعلومات الهندسية المضمنة في المراحل الخشنة لتحسين تقدير العمق بدقة. وبشكل خاص، نصمم شبكة تجميع هندسية ثنائية الفرع لاستخلاص معلومات أولية هندسية من التقديرات الخشنة، بهدف تعزيز استخلاص السمات الهيكلية في المراحل الدقيقة. علاوةً على ذلك، نُدمج أحجام الاحتمالات الخشنة، التي تحمل خصائص توزيع عمق قيمة، داخل شبكة تنظيم خفيفة الوزن لتعزيز مفهوم الهندسة في الاتجاه العمودي (العمودي للعمق) بشكل إضافي. وفي الوقت نفسه، نطبق تصفية المجال الترددي لتقليل التأثير السلبي للمناطق ذات التردد العالي، ونستخدم استراتيجية التعلم التدريجي لتعزيز تكامل المعلومات الهندسية تدريجيًا. ولتعزيز إدراك النموذج للهندسة في المشهد الكامل، نقدّم دالة فقدان تعتمد على افتراض نموذج المزيج الغاوسي (Gaussian-Mixture Model) تعتمد على تشابه توزيع العمق. أظهرت التجارب الواسعة على مجموعتي بيانات DTU وTanks and Temples (T&T) أن نموذج GeoMVSNet يحقق نتائج من الطراز الرائد، ويحتل المرتبة الأولى في مجموعة T&T-Advanced. يمكن الوصول إلى الكود عبر الرابط: https://github.com/doubleZ0108/GeoMVSNet.