تعزيز التعلم الذاتي للعمق الأحادي باستخدام LiDAR نادرة

تُقدّم التنبؤ بالعمق الأحادي ذاتي التدريب حلاً فعّالاً من حيث التكلفة للحصول على الموقع ثلاثي الأبعاد لكل بكسل. ومع ذلك، فإن الطرق الحالية غالبًا ما تؤدي إلى دقة غير مرضية، وهي مسألة بالغة الأهمية للروبوتات المستقلة. في هذه الورقة، نُقدّم FusionDepth، وهي شبكة ثنائية المراحل جديدة، لتعزيز تعلّم العمق الكثيف الأحادي ذاتي التدريب من خلال استغلال مستشعرات LiDAR نادرة التكلفة (مثل مستشعرات 4 أشعة). على عكس الطرق الحالية التي تستخدم LiDAR النادرة بشكل رئيسي في عملية ما بعدية تكرارية وطويلة، تقوم نموذجنا بدمج ميزات الصورة الأحادية ومواصفات LiDAR النادرة للتنبؤ بخرائط العمق الأولية. ثم، تم تصميم شبكة تصحيح فعّالة ذات تدفق مباشر (feed-forward) لتصحيح الأخطاء في هذه الخرائط الأولية للعمق في الفضاء ثلاثي الأبعاد الوهمي، مع أداء في الزمن الحقيقي. أظهرت التجارب الواسعة أن النموذج المقترح يتفوق بشكل ملحوظ على جميع الطرق المتطورة ذاتي التدريب، وكذلك على الطرق القائمة على LiDAR النادرة، في مهام التنبؤ بالعمق الأحادي ذاتي التدريب ومهام استكمال العمق. وبفضل التنبؤ بدقة عالية بخرائط العمق الكثيفة، يتفوق نموذجنا على أحدث طريقة قائمة على LiDAR النادرة (Pseudo-LiDAR++) بنسبة تزيد عن 68٪ في المهمة التالية، وهي الكشف عن الكائنات ثلاثية الأبعاد من منظور أحادي، على لائحة التصنيف KITTI. يمكن الوصول إلى الكود من خلال: https://github.com/AutoAILab/FusionDepth