HyperAIHyperAI

Command Palette

Search for a command to run...

跨视角变换器用于实时地图视图语义分割

Brady Zhou Philipp Krähenbühl

摘要

我们提出了一种跨视角 Transformer (cross-view transformers),这是一种高效的基于注意力机制的模型,用于从多个摄像头进行地图视角的语义分割。我们的架构通过一种摄像机感知的跨视角注意力机制,隐式地学习了从各个单独的摄像机视图到规范的地图视图表示的映射。每个摄像机使用依赖于其内部和外部校准的位置嵌入(positional embeddings)。这些位置嵌入使得 Transformer 能够在不显式建模几何关系的情况下,学习不同视图之间的映射。该架构包括每个视图的卷积图像编码器和跨视角 Transformer 层,以推断出地图视角的语义分割。我们的模型简单、易于并行化且实时运行。所提出的架构在 nuScenes 数据集上达到了最先进的性能,推理速度提高了4倍。代码可在 https://github.com/bradyz/cross_view_transformers 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供