LaRa：用于多相机鸟瞰视图语义分割的潜在变量和射线方法

近期在自动驾驶领域的研究中，广泛采用了鸟瞰图（BEV）语义地图作为世界的一种中间表示形式。在线预测这些BEV地图涉及非平凡的操作，例如多摄像头数据提取以及融合和投影到一个共同的俯视网格中。这通常通过容易出错的几何操作（如单目深度估计的同胚变换或反向投影）或昂贵的图像像素与BEV像素之间的直接密集映射（如使用多层感知机或注意力机制）来实现。在本工作中，我们提出了一种高效的基于编码器-解码器和变压器架构的模型“LaRa”，用于从多个摄像头进行车辆语义分割。我们的方法利用交叉注意力机制系统地聚合来自多个传感器的信息，形成一个紧凑而丰富的潜在表示集合。这些潜在表示经过一系列自注意力模块处理后，再通过第二次交叉注意力在BEV空间中重新投影。我们在nuScenes数据集上展示了我们的模型在使用变压器架构的方法中优于以往最佳的工作。代码和训练好的模型可在https://github.com/valeoai/LaRa 获取。