شبكة البحث الثنائية المعممة للاستريو متعدد الآراء ذات الكفاءة العالية

الاستereo متعدد الآراء (MVS) مع معلمات الكاميرا المعروفة هو في جوهره مشكلة بحث أحادية البعد ضمن نطاق عمق صالح. تميل الطرق الحديثة القائمة على التعلم العميق للاستereo متعدد الآراء إلى أخذ عينات كثيفة من فرضيات العمق في نطاق العمق، ومن ثم بناء حجوم تكلفة ثلاثية الأبعاد تستهلك ذاكرة بشكل مفرط للتنبؤ بالعمق. رغم أن استراتيجيات التدرج من الخشن إلى الدقيق تخفف من هذه المشكلة إلى حد ما، لا يزال كفاءة الاستereo متعدد الآراء تمثل تحديًا مفتوحًا. في هذا العمل، نقترح طريقة جديدة لتحقيق الاستereo متعدد الآراء بكفاءة عالية تقلل بشكل كبير من بصمة الذاكرة، وفي الوقت نفسه تقدم بوضوح أداءً متقدمًا في التنبؤ بالعمق على مستوى الطليعة. ندرس ما يمكن أن تكون استراتيجية البحث المعقولة الأمثل للاستereo متعدد الآراء مع مراعاة كل من الكفاءة والفعالية. نقوم أولًا بصياغة الاستereo متعدد الآراء كمشكلة بحث ثنائية، ونقترح وفقًا لذلك شبكة بحث ثنائية معممة للاستereo متعدد الآراء. وبشكل خاص، يتم تقسيم نطاق العمق في كل خطوة إلى صندوقين (Bins) مع إضافة صندوق تحمل الخطأ (Error Tolerance Bin) على الجانبين. يتم تنفيذ تصنيف لتحديد أي الصناديق يحتوي على العمق الحقيقي. كما صممنا ثلاثة آليات للتعامل مع أخطاء التصنيف، ومعالجة العينات خارج النطاق وتقليل ذاكرة التدريب. يجعل التنسيق الجديد طريقتنا تقوم فقط بأخذ عدد قليل جدًا من فرضيات العمق في كل خطوة، مما يجعلها ذات كفاءة عالية في استخدام الذاكرة، كما أنه يساعد بشكل كبير على تحقيق تقارب سريع أثناء التدريب. أظهرت التجارب على مقاييس المنافسة أن طريقتنا تحقق دقة رائدة مع استهلاك أقل بكثير للذاكرة. وبشكل خاص، حققت طريقتنا درجة إجمالية قدرها 0.289 على مجموعة بيانات DTU واحتلت المركز الأول بين جميع الطرق القائمة على التعلم في مجموعة بيانات Tanks and Temples المتقدمة والمعقدة. سيتم إطلاق النماذج المدربة والكود على https://github.com/MiZhenxing/GBi-Net.