الإشراف الذاتي من النادر إلى الكثيف: إكمال العمق بشكل ذاتي من ليدار والكاميرا الأحادية

إكمال العمق، وهو تقنية تقدير صورة عمق كثيفة من قياسات عمق نادرة، له تطبيقات متنوعة في الروبوتات والقيادة الذاتية. ومع ذلك، يواجه إكمال العمق ثلاثة تحديات رئيسية: النمط غير المنتظم في المدخلات ذات العمق النادر، صعوبة التعامل مع أنماط الاستشعار المتعددة (عند توفر الصور الملونة)، بالإضافة إلى نقص البيانات الحقيقية الكثيفة على مستوى البكسل. في هذا العمل، نعالج جميع هذه التحديات. بشكل خاص، نطور نموذج الانحدار العميق لتعلم الخريطة المباشرة من العمق النادر (والصور الملونة) إلى العمق الكثيف. كما نقترح إطارًا تدريبيًا ذاتي الإشراف يتطلب فقط سلاسل من الصور الملونة وصور العمق النادرة، دون الحاجة إلى بيانات عمق كثيفة حقيقية. تظهر تجاربنا أن شبكتنا، عند تدريبها باستخدام شبه بيانات كثيفة مصححة، تحقق دقة رائدة في مجالها وتكون الطريقة الفائزة في معيار KITTI لإكمال العمق وقت تقديم البحث. بالإضافة إلى ذلك، يتفوق الإطار الذاتي الإشراف على العديد من الحلول الموجودة التي تم تدريبها باستخدام شبه بيانات كثيفة مصححة.