2 个月前
未处理图像用于学习原始降噪
Tim Brooks; Ben Mildenhall; Tianfan Xue; Jiawen Chen; Dillon Sharlet; Jonathan T. Barron

摘要
机器学习技术在训练数据与评估数据相似时效果最佳。这一原则同样适用于单图像去噪算法,这些算法应用于真实的相机传感器读数,但由于实际限制,通常使用合成图像数据进行训练。尽管已知从合成数据泛化到真实数据需要仔细考虑图像传感器的噪声特性,但相机图像处理流水线的其他方面(增益、颜色校正、色调映射等)往往被忽视,尽管它们对原始测量值转化为最终图像的过程有显著影响。为了解决这一问题,我们提出了一种“反处理”技术,通过逆向执行图像处理流水线的每一步骤,从而可以从常见的互联网照片中合成逼真的原始传感器测量值。此外,在评估损失函数时,我们还建模了图像处理流水线的相关组件,这使得训练过程能够考虑到去噪后将发生的全部相关光度处理。通过这种方式处理和反处理模型输出及训练数据,我们能够训练一个简单的卷积神经网络,该网络在达姆施塔特噪声数据集上的错误率比现有最先进技术低14%-38%,并且速度提高了9倍至18倍。此外,该模型还能泛化到该数据集之外的传感器。