16 天前

基于无人机的RGB-红外跨模态车辆检测:一种不确定性感知学习方法

Yiming Sun, Bing Cao, Pengfei Zhu, Qinghua Hu
基于无人机的RGB-红外跨模态车辆检测:一种不确定性感知学习方法
摘要

基于无人机的车辆检测旨在从航拍图像中识别车辆的位置与类别,为智慧交通管理与灾害救援提供有力支持。研究人员在该领域投入了大量努力,并取得了显著进展。然而,在目标难以区分的场景下,尤其是低光照条件下,检测仍面临严峻挑战。为应对这一问题,我们构建了一个大规模基于无人机的RGB-红外图像车辆检测数据集,命名为DroneVehicle。该数据集共包含28,439对RGB-红外图像,覆盖城市道路、居民区、停车场等多种场景,并涵盖昼夜不同时间段。由于RGB图像与红外图像之间存在显著差异,跨模态图像虽能提供互补的有效信息,同时也引入了冗余信息。为解决这一矛盾,我们进一步提出一种不确定性感知的跨模态车辆检测框架(Uncertainty-Aware Cross-Modality Vehicle Detection, UA-CMDet),以有效提取跨模态图像中的互补信息,显著提升低光照条件下的检测性能。该框架中设计了不确定性感知模块(Uncertainty-Aware Module, UAM),通过计算跨模态交并比(IoU)以及RGB图像的光照强度值,量化各模态的不确定性权重。此外,我们还提出一种光照感知的跨模态非极大值抑制算法(Illumination-Aware Cross-Modal NMS),以在推理阶段更优地融合各模态的特异性信息。在DroneVehicle数据集上的大量实验表明,所提方法在跨模态车辆检测任务中具有良好的灵活性与有效性。该数据集可从以下地址下载:https://github.com/VisDrone/DroneVehicle。

基于无人机的RGB-红外跨模态车辆检测:一种不确定性感知学习方法 | 最新论文 | HyperAI超神经