2 个月前
只需90K参数即可适应光线:一种用于图像增强和曝光校正的轻量级变压器模型
Cui, Ziteng ; Li, Kunchang ; Gu, Lin ; Su, Shenghan ; Gao, Peng ; Jiang, Zhengkai ; Qiao, Yu ; Harada, Tatsuya

摘要
现实世界中的光照条件(低光、曝光不足和曝光过度)不仅会带来不悦的视觉效果,还会对计算机视觉任务产生负面影响。相机捕捉到原始RGB数据后,通过图像信号处理器(ISP)将其渲染为标准的sRGB图像。我们提出了一种轻量级快速光照自适应变换器(IAT),通过将ISP流水线分解为局部和全局图像组件,从低光或曝光不足/过度条件下恢复正常的照明sRGB图像。具体而言,IAT使用注意力查询来表示和调整与ISP相关的参数,如颜色校正、伽马校正等。我们的IAT仅包含约90,000个参数,处理速度约为0.004秒,在当前基准低光增强和曝光校正数据集上始终优于最先进的方法(SOTA)。实验结果还表明,我们的IAT在各种光照条件下显著提升了目标检测和语义分割任务的性能。训练代码和预训练模型可在以下链接获取:https://github.com/cuiziteng/Illumination-Adaptive-Transformer。