خرائط الشبكة المحتللة أحادية العين باستخدام شبكات الترميز-التفكيك التغيرية الإدراكية

في هذا العمل، نقوم ببحث وتقييم التعلم من النهاية إلى النهاية للخرائط الإشغالية الأحادية العين (monocular) ذات المعنى والمقياس من الحقيقة الأرضية الثنائية العين (binocular) الضعيفة. الشبكة تتعلم التنبؤ بأربع فئات بالإضافة إلى خريطة من الكاميرا إلى الرؤية الطائرية (bird's eye view). في جوهرها، تستفيد من شبكة مشفّرة-مفكّكة متغيرة (variational encoder-decoder) تقوم بتشفير المعلومات البصرية لمشهد القيادة الأمامي ثم فك تشفيرها إلى نظام إحداثي كارتيزي ثنائي الأبعاد (2-D top-view Cartesian coordinate system). تظهر التقييمات على Cityscapes أن التعلم من النهاية إلى النهاية للخرائط الإشغالية ذات المعنى والمقياس يتفوق على نهج الخرائط الدeterministic مع افتراض المستوى المستوي بنسبة أكثر من 12% في المتوسط لمتوسط تقاطع الاتحاد (mean IoU). علاوة على ذلك، نوضح أن العينة المتغيرة باستخدام متجه تمثيلي صغير نسبيًا (embedding vector) توفر متانة ضد الاضطرابات الديناميكية للمركبات وقابلية تعميم للبيانات غير المألوفة من KITTI. تحقق شبكتنا معدلات استدلال في الوقت الحقيقي تبلغ حوالي 35 هرتز لصورة مدخل بدقة 256x512 بكسل وخريطة مخرج تتكون من 64x64 خلية إشغال باستخدام بطاقة معالجة Titan V GPU.