16 天前

用于图像光照源操控的深度重光照网络

Li-Wen Wang, Wan-Chi Siu, Zhi-Song Liu, Chu-Tak Li, Daniel P.K. Lun
用于图像光照源操控的深度重光照网络
摘要

操纵给定图像中的光源是一项具有吸引力且在摄影与影视制作等多个领域具有广泛应用价值的任务。现有的方法通常需要额外的信息,例如场景的几何结构,但这类信息在大多数图像中并不可得。本文提出了单图像重光照任务的建模方法,并设计了一种新型的深度重光照网络(Deep Relighting Network, DRN),该网络由三个核心模块构成:1)场景重构模块,通过深度自编码网络揭示场景的主要结构;2)阴影先验估计模块,利用对抗学习机制预测新光源方向下的光照效果;3)重渲染模块,将重构的主场景结构与生成的阴影视图相结合,从而在目标光源条件下生成所需的重光照结果。实验结果表明,所提出的方法在定性和定量评价上均优于现有其他方法。特别地,该DRN在2020年ECCV会议举办的“AIM2020 - 任意到单一重光照挑战赛”中取得了最佳峰值信噪比(PSNR)成绩。

用于图像光照源操控的深度重光照网络 | 最新论文 | HyperAI超神经