التعلم ذاتي الإشراف لتقدير العمق والاتجاه السطحي من وجهة نظر واحدة

في هذا العمل، نقدم إطارًا للتعلم الذاتي يهدف إلى تدريب شبكتين عصبيتين ارتباطيتين (CNNs) بشكل متزامن لتنبؤ العمق والاتجاهات السطحية من صورة واحدة. على عكس معظم الإطارات الموجودة التي تمثل المشاهد الخارجية كأسطح متعامدة أمامية ذات عمق ناعم قطعةً قطعة، نقترح تنبؤ العمق مع الاتجاه السطحي تحت فرضية أن المشاهد الطبيعية لديها اتجاهات سطحية ناعمة قطعةً قطعة. نوضح أن التوافق البسيط بين العمق والاتجاه السطحي كقيد مرن على التنبؤات كافٍ وفعال لتدريب هذين الشبكتين بشكل متزامن. توفر الشبكة المدربة للاتجاهات السطحية تنبؤات رائدة في مجالها، بينما تتفوق الشبكة المدربة للعمق، والتي تعتمد على فرضية أكثر واقعية للسلاسة الطبيعية، بفارق كبير على شبكة التعلم الذاتي التقليدية لتنبؤ العمق في معيار KITTI.فيديو عرض: https://youtu.be/ZD-ZRsw7hdM