探索以对象为中心的时间建模以实现高效的多视图3D对象检测

在本文中，我们提出了一种用于多视角3D目标检测的长序列建模框架，命名为StreamPETR。该框架基于PETR系列中的稀疏查询设计，系统地开发了一种以目标为中心的时间机制。模型以在线方式运行，通过对象查询逐帧传播长期历史信息。此外，我们引入了一种运动感知层归一化（motion-aware layer normalization），以建模对象的移动。与单帧基线相比，StreamPETR仅带来微不足道的计算成本，却实现了显著的性能提升。在标准nuScenes基准测试中，它是首个在线多视角方法，在性能上（67.6% NDS和65.3% AMOTA）与基于激光雷达的方法相当。轻量级版本实现了45.0%的mAP和31.7 FPS的速度，比最先进的方法（SOLOFusion）高出2.3%的mAP，并且速度提高了1.8倍。代码已发布在https://github.com/exiawsh/StreamPETR.git。