17 天前

隐式多光谱Transformer:一种轻量且高效的可见光到红外图像转换模型

Yijia Chen, Pinghua Chen, Xiangxin Zhou, Yingtie Lei, Ziyang Zhou, Mingxian Li
隐式多光谱Transformer:一种轻量且高效的可见光到红外图像转换模型
摘要

在计算机视觉领域,可见光图像在低光照条件下通常呈现对比度低的问题,构成了显著的技术挑战。尽管红外成像技术可作为潜在解决方案,但其应用受限于高昂的成本与实际部署的诸多困难。近年来,深度学习技术,尤其是生成对抗网络(Generative Adversarial Networks, GANs)的广泛应用,推动了从可见光图像到红外图像的转换研究。然而,现有方法普遍存在训练过程不稳定、生成结果质量不佳等缺陷。为解决上述问题,本文提出一种新型端到端的基于Transformer的模型,能够高效地将可见光图像转换为高保真度的红外图像。该模型首先通过纹理映射模块(Texture Mapping Module)与颜色感知适配器(Color Perception Adapter)协同提取可见光图像中的纹理与颜色特征;随后,动态融合聚合模块(Dynamic Fusion Aggregation Module)对提取的多源特征进行融合整合;最后,在颜色感知适配器与增强感知注意力机制(Enhanced Perception Attention)的协同作用下,完成红外图像的精细化生成。大量基准实验结果表明,所提模型在定性和定量两个维度上均显著优于现有方法,生成的红外图像质量明显提升。此外,该模型生成的红外图像在后续应用任务中也展现出更强的适用性与性能表现,优于其他对比方法。