17 天前
FTNet:用于热成像语义分割的特征横跨网络
{Srijith Rajeev and Sos S Agaian, Shreyas Kamath K.M, Karen Panetta}
摘要
热成像是一种利用红外辐射和热能来获取物体信息的技术。与可见光成像相比,热成像具有在黑暗环境中工作以及适应光照变化的显著优势。此外,热成像还具备穿透烟雾、气溶胶、粉尘和雾气的能力,而这些因素往往是可见光成像应用(包括语义分割)中的关键限制因素。然而,当前最先进的图像语义分割方法存在两个主要问题:(i)主要集中于可见光谱图像,难以充分捕捉对应像素的上下文信息,尤其在热成像中边缘细节的表征能力不足;(ii)在高精度与高速度之间存在权衡,难以兼顾二者。针对上述挑战,本文提出了一种新型端到端可训练的卷积神经网络架构——特征横向网络(Feature Transverse Network, FTNet)。FTNet通过在多尺度分辨率下捕捉并优化特征表示,显著提升了对高分辨率图像的处理能力,同时在保证输出质量的前提下显著降低了计算成本。为验证所提FTNet的有效性,我们在多个公开可用的热成像基准数据集(包括SODA、MFNet和SCUT-Seg)上进行了大量计算机实验。实验结果表明,FTNet在多个评价维度上均优于现有先进方法,涵盖定量精度与运行速度等关键指标。相关源代码已开源,可访问 https://github.com/shreyaskamathkm/FTNet。