تقدير العمق الأحادي غير المشرف مع التوافق بين اليمين واليسار

أظهرت الطرق القائمة على التعلم نتائجًا واعدةً للغاية في مهمة تقدير العمق في الصور الفردية. ومع ذلك، فإن معظم النهج الحالية تتعامل مع تنبؤ العمق كمشكلة انحدار مراقبة، مما يتطلب كميات كبيرة من بيانات العمق الحقيقية المقابلة للتدريب. تسجيل بيانات العمق ذات الجودة في مجموعة متنوعة من البيئات هو مشكلة صعبة.في هذه الورقة البحثية، نبتكر ما يتجاوز النهج الحالية، بتعويض استخدام بيانات العمق الصريحة أثناء التدريب بالصور الاستريو الثنائية الأسهل للحصول عليها. نقترح هدف تدريب جديد يمكن لشبكتنا العصبية التلافيفية من خلاله تعلم أداء تقدير العمق في الصور الفردية، رغم غياب بيانات العمق الحقيقية. باستخدام قيود الهندسة الاستقطابية (epipolar geometry)، نولد صور الاختلاف (disparity images) عن طريق تدريب شبكتنا بخسارة إعادة بناء الصورة (image reconstruction loss). نوضح أن حل مشكلة إعادة بناء الصورة بمفردها يؤدي إلى صور عمق ذات جودة ضعيفة. لحل هذه المشكلة، نقترح خسارة تدريب جديدة تفرض التجانس بين الاختلافات المنتجة بالنسبة لكلتا الصورين اليسرى واليمينى، مما يؤدي إلى أداء أفضل ومتانة مقارنة بالنهج الحالية. طريقتنا تنتج نتائجًا رائدة في تقدير العمق الأحادي على مجموعة بيانات KITTI للقيادة، حتى أنها تتخطى الطرق المراقبة التي تم تدريبها باستخدام بيانات العمق الحقيقية.