HyperAIHyperAI

Command Palette

Search for a command to run...

V2X-ViT:基于视觉Transformer的车与万物协同感知

Runsheng Xu Hao Xiang Zhengzhong Tu Xin Xia Ming-Hsuan Yang Jiaqi Ma

摘要

本文研究了车联网(Vehicle-to-Everything, V2X)通信在提升自动驾驶车辆感知性能方面的应用。我们提出了一种基于新型视觉Transformer的鲁棒协同感知框架,通过V2X通信实现道路参与者(即车辆与基础设施)间的信息高效融合。具体而言,我们构建了一个全局注意力模型——V2X-ViT,用于有效整合来自路侧单元和车辆等多智能体的感知信息。V2X-ViT采用异构多智能体自注意力与多尺度窗口自注意力交替堆叠的结构,能够同时捕捉智能体间的交互关系以及单个智能体内部的空间特征。上述关键模块在统一的Transformer架构中设计,可有效应对V2X场景中的典型挑战,包括异步信息共享、位姿误差以及V2X系统组件的异构性。为验证所提方法的有效性,我们基于CARLA仿真平台与OpenCDA框架构建了一个大规模V2X感知数据集。大量实验结果表明,V2X-ViT在三维目标检测任务上达到了当前最优性能,并在复杂、高噪声环境下仍表现出良好的鲁棒性。代码已开源,地址为:https://github.com/DerrickXuNu/v2x-vit


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供