2 个月前
Achelous:一种基于单目相机和4D毫米波雷达融合的快速统一水面全景感知框架
Guan, Runwei ; Yao, Shanliang ; Zhu, Xiaohui ; Man, Ka Lok ; Lim, Eng Gee ; Smith, Jeremy ; Yue, Yong ; Yue, Yutao

摘要
当前针对不同任务的感知模型通常以模块化形式存在于无人水面船(USVs)上,这些模型在边缘设备上并行推理速度极慢,导致感知结果与无人水面船位置之间的不同步,进而引发自主导航中的错误决策。与无人地面车(UGVs)相比,无人水面船的鲁棒感知发展相对缓慢。此外,大多数现有的多任务感知模型参数量庞大、推理速度慢且不具备可扩展性。为此,我们提出了一种低成本且快速统一的全景感知框架——Achelous,该框架基于单目相机和4D毫米波雷达的融合,用于水面感知。Achelous可以同时执行五项任务:视觉目标检测与分割、可行驶区域分割、水线分割以及雷达点云分割。此外,Achelous系列模型的参数量少于约500万,在NVIDIA Jetson AGX Xavier上实现了大约18帧每秒(FPS)的推理速度,比HybridNets快11 FPS,并在我们收集的数据集上超过了YOLOX-Tiny和Segformer-B0约5个mAP$_{\text{50-95}}$和0.7个mIoU,特别是在恶劣天气、黑暗环境和相机故障的情况下表现尤为突出。据我们所知,Achelous是首个结合了视觉级和点云级任务的全面全景感知框架,用于水面感知。为了促进智能交通社区的发展,我们在\url{https://github.com/GuanRunwei/Achelous}发布了我们的代码。