2 个月前

学习图像自适应的3D查找表以实现实时高性能照片增强

Zeng, Hui ; Cai, Jianrui ; Li, Lida ; Cao, Zisheng ; Zhang, Lei
学习图像自适应的3D查找表以实现实时高性能照片增强
摘要

近年来,基于学习的方法在提升照片色彩和色调方面越来越受欢迎。然而,许多现有的照片增强方法要么效果不尽如人意,要么消耗过多的计算和内存资源,阻碍了它们在高分辨率图像(通常超过1200万像素)中的实际应用。本文中,我们提出了一种学习图像自适应三维查找表(3D LUTs)的方法,以实现快速且稳健的照片增强。三维查找表广泛用于调整照片的色彩和色调,但通常需要手动调校并在相机成像管道或照片编辑工具中固定使用。据我们所知,这是首次提出从标注数据中使用成对或非成对学习来学习3D LUTs的方法。更重要的是,我们所学习的3D LUT具有图像自适应性,可以灵活地进行照片增强。我们在端到端的方式下同时学习多个基础3D LUT和一个小卷积神经网络(CNN)。该小CNN作用于输入图像的降采样版本,预测内容相关的权重以融合多个基础3D LUT生成一个图像自适应的3D LUT,从而高效地转换源图像的色彩和色调。我们的模型参数量少于60万,并且使用一块Titan RTX GPU处理4K分辨率的图像所需时间不到2毫秒。尽管效率极高,我们的模型在两个公开可用的基准数据集上,根据峰值信噪比(PSNR)、结构相似性指数(SSIM)以及颜色差异度量指标的表现也大幅优于当前最先进的照片增强方法。