13 天前

CAPE:用于多视角三维目标检测的相机视图位置嵌入

Kaixin Xiong, Shi Gong, Xiaoqing Ye, Xiao Tan, Ji Wan, Errui Ding, Jingdong Wang, Xiang Bai
CAPE:用于多视角三维目标检测的相机视图位置嵌入
摘要

本文研究了从多视角图像中检测三维物体的问题。现有的基于查询的方法依赖于全局三维位置嵌入(Position Embedding, PE)来学习图像与三维空间之间的几何对应关系。我们指出,直接将二维图像特征与全局三维PE进行交互,会因相机外参的变化而增加视角变换学习的难度。为此,我们提出了一种基于相机视角位置嵌入的新方法,称为CAmera view Position Embedding(CAPE)。与传统的全局坐标系不同,CAPE在局部相机视角坐标系下构建三维位置嵌入,从而避免了对相机外参的显式编码。此外,我们进一步将CAPE拓展至时序建模,通过利用前一帧的物体查询并编码自运动信息(ego-motion),以提升三维物体检测性能。在nuScenes数据集上,CAPE在所有无LiDAR方法中取得了当前最优的性能,达到61.0%的NDS和52.5%的mAP。相关代码与模型已开源,可在Paddle3D和PyTorch实现版本中获取。

CAPE:用于多视角三维目标检测的相机视图位置嵌入 | 最新论文 | HyperAI超神经