基于单目语义占据栅格地图的卷积变分编码器-解码器网络

在这项工作中，我们研究并评估了从弱双目地面真值中端到端学习单目语义-度量占用栅格地图的方法。网络学会了预测四个类别，以及从相机视角到鸟瞰视角的映射。其核心部分采用了一种变分编码器-解码器网络，该网络将驾驶场景的前视视觉信息编码，并随后将其解码为二维俯视笛卡尔坐标系。在Cityscapes数据集上的评估表明，端到端学习的语义-度量占用栅格地图在平均交并比（mean IoU）上超过了基于平面假设的确定性映射方法，提升幅度超过12%。此外，我们还展示了相对较小的嵌入向量进行变分采样可以提高对车辆动态扰动的鲁棒性，并增强对未见过的KITTI数据的泛化能力。使用Titan V GPU时，我们的网络对于分辨率为256x512像素的输入图像和64x64占用栅格单元的输出地图，实现了约35赫兹（Hz）的实时推理速率。