17 天前

低光图像增强的语义感知知识引导学习

Yuhui Wu, Chen Pan, Guoqing Wang, Yang Yang, Jiwei Wei, Chongyi Li, Heng Tao Shen
低光图像增强的语义感知知识引导学习
摘要

低光照图像增强(Low-light Image Enhancement, LLIE)旨在提升图像的光照条件,生成接近正常光照效果的视觉结果。现有大多数方法采用全局且均匀的处理方式对低光照图像进行增强,未能充分考虑图像中不同区域的语义信息。由于缺乏语义先验,网络模型在增强过程中容易偏离区域原有的颜色特性。为解决这一问题,本文提出一种新颖的语义感知知识引导框架(Semantic-aware Knowledge-guided Framework, SKF),该框架能够帮助低光照增强模型学习并利用语义分割模型中蕴含的丰富且多样化的先验知识。本框架从三个关键方面融合语义知识:(1)语义感知嵌入模块,在特征表示空间中智能地整合语义先验信息;(2)语义引导的颜色直方图损失函数,有效保持不同物体实例之间的颜色一致性;(3)语义引导的对抗性损失,借助语义先验生成更自然的纹理细节。所提出的SKF框架在LLIE任务中展现出良好的通用性与适应性。大量实验结果表明,集成SKF的模型在多个公开数据集上显著优于现有基线方法,且该框架具备良好的跨模型与跨场景泛化能力。相关代码已开源,地址为:Semantic-Aware-Low-Light-Image-Enhancement。