2 个月前
PHNet:基于补丁的归一化方法用于人像和谐化
Efremyan, Karen ; Petrova, Elizaveta ; Kaskov, Evgeny ; Kapitanov, Alexander
摘要
复合图像的一个常见问题是前景和背景组件之间的不兼容。图像和谐化旨在解决这一问题,使整个图像看起来更加真实和协调。现有的大多数解决方案通过预测查找表(LUTs)或重建图像,利用复合图像的各种属性来实现这一目标。近期的方法主要集中在使用全局变换,如归一化和颜色曲线渲染,以达到视觉一致性,而往往忽略了局部视觉连贯性的重要性。我们提出了一种基于补丁的和谐化网络,该网络包含新颖的基于补丁的归一化(Patch-based Normalization, PN)模块和基于统计颜色传递的特征提取器。大量实验表明,该网络在不同领域的泛化能力较高。我们的网络在iHarmony4数据集上取得了最先进的结果。此外,我们基于FFHQ创建了一个新的肖像和谐化数据集,并验证了所提出方法的有效性,通过在此数据集上获得最佳指标来展示其泛化能力。基准实验确认,建议的基于补丁的归一化模块和特征提取器能够有效提升网络对肖像进行和谐化的性能。我们的代码和模型基线已公开提供。