16 天前
PST900:RGB-热成像校准、数据集与分割网络
Shreyas S. Shivakumar, Neil Rodrigues, Alex Zhou, Ian D. Miller, Vijay Kumar, Camillo J. Taylor

摘要
在本研究中,我们提出将长波红外(LWIR)图像作为基于学习方法进行语义分割的可行辅助模态。首先,针对RGB-热成像相机标定问题,我们提出了一种被动式标定靶标及其标定流程,该方法具有便携性且使用简便。其次,我们构建了PST900数据集,该数据集包含894对同步采集并经过标定的RGB与热成像图像,涵盖来自DARPA地下挑战赛(DARPA Subterranean Challenge)的四个不同类别,且每像素均标注了人体信息。最后,我们提出了一种用于快速语义分割的卷积神经网络(CNN)架构,该架构能够有效融合RGB与热成像数据,并在保持RGB图像独立利用能力的同时实现性能提升。我们在所构建的数据集上将所提方法与当前最先进方法进行对比,结果表明,本方法在该数据集上表现优于现有方法。