الأسقف مسطحة: استغلال الدلالة للتنبؤ الفوري باتجاه السطح الطبيعي

نقترح أربع رؤى تساعد في تحسين أداء نماذج التعلم العميق التي تتوقع المتجهات الطبيعية للسطح والعلامات الدلالية من صورة RGB واحدة بشكل كبير. هذه الرؤى هي: (1) إزالة الضوضاء من المتجهات الطبيعية للسطح "الحقيقة الأرضية" في مجموعة التدريب لضمان اتساقها مع العلامات الدلالية؛ (2) التدريب بشكل متزامن على مزيج من البيانات الحقيقية والبيانات الاصطناعية، بدلاً من التدريب الأولي على البيانات الاصطناعية ثم التعديل النهائي على البيانات الحقيقية؛ (3) التنبؤ المشترك بالمتجهات الطبيعية والدلاليات باستخدام نموذج مشترك، ولكن فقط إعادة انتشار الأخطاء على البكسلات التي تحتوي على علامات تدريب صالحة؛ (4) تقليص حجم النموذج واستخدام الصور الرمادية بدلاً من الصور الملونة كمدخلات. رغم بساطة هذه الخطوات، فقد أظهرنا تحسينًا مستقرًا في النتائج على عدة مجموعات بيانات، باستخدام نموذج يعمل بمعدل 12 إطارًا في الثانية على هاتف محمول قياسي.