IB-MVS: خوارزمية تكرارية للصورة ثلاثية الأبعاد متعددة المناظر المستندة إلى القرارات الثنائية

نقدم طريقة جديدة تعتمد على التعلم العميق لمعالجة الصور ثلاثية الأبعاد من عدة زوايا (Multi-View Stereo). تقدر هذه الطريقة خرائط العمق بدقة عالية ودقة متناهية بشكل تكراري، وذلك من خلال التنقل في الفضاء المستمر للقيم الممكنة للعمق لكل بكسل بطريقة قرار ثنائية. يستفيد عملية القرار من هندسة شبكة عميقة: حيث تقوم هذه الشبكة بحساب قناع ثنائي لكل بكسل يحدد ما إذا كان العمق الفعلي لكل بكسل أمام أو خلف فرضية العمق الفردية الحالية. بالإضافة إلى ذلك، لمعالجة المناطق المخفية، يتم دمج نتائج الصور المصدر المختلفة في كل تكرار باستخدام أوزان حسابية لكل بكسل تقديرها شبكة ثانية. بفضل الاستراتيجية الثنائية لاتخاذ القرار، التي تسمح باستكشاف فعال لفضاء العمق، يمكن لهذه الطريقة التعامل مع صور ذات دقة عالية دون التضحية بالدقة والتفصيل. وهذا يجعلها تختلف عن معظم الطرق البديلة القائمة على التعلم في معالجة الصور ثلاثية الأبعاد من عدة زوايا (Multi-View Stereo)، حيث تتطلب التقسيم الصريح لفضاء العمق معالجة أحجام كلفة كبيرة. قمنا بمقارنة طرقنا مع أفضل الطرق الحالية في مجال معالجة الصور ثلاثية الأبعاد من عدة زوايا (Multi-View Stereo) على مقاييس DTU وTanks and Temples والتحديات الكبيرة في مقاييس ETH3D وأظهرنا نتائج تنافسية.