17 天前

分层动态图像调和

Haoxing Chen, Zhangxuan Gu, Yaohui Li, Jun Lan, Changhua Meng, Weiqiang Wang, Huaxiong Li
分层动态图像调和
摘要

图像和谐化(Image Harmonization)是计算机视觉领域的一项关键任务,旨在调整前景图像,使其在视觉上与背景自然融合。近年来的研究主要依赖全局变换(如归一化和色彩曲线映射)来实现视觉一致性,但这类方法往往忽视了局部视觉一致性,且模型规模庞大,难以在边缘设备上高效运行。为此,本文提出一种分层动态网络(Hierarchical Dynamic Network, HDNet),通过从局部到全局的特征自适应机制,实现高效图像和谐化中的特征变换。受多种动态模型成功应用的启发,本文设计了局部动态(Local Dynamic, LD)模块与掩码感知全局动态(Mask-Aware Global Dynamic, MGD)模块。具体而言,LD模块基于语义相似性匹配前景与背景区域之间的局部特征表示,并根据前景区域的K个最近邻背景区域的外观特征,自适应地调整每个前景局部特征。该机制在更细粒度的层级上生成更具真实感的图像,同时保持语义对齐特性。MGD模块则分别对前景和背景区域施加不同的卷积操作,有效学习两者各自的特征表示及其相互关联,从而在全局层面促进图像的和谐化,显著提升局部视觉一致性,且计算效率更高。实验结果表明,所提出的HDNet相比以往方法,模型参数总量减少超过80%,在主流iHarmony4数据集上仍达到当前最优性能。尤为突出的是,HDNet在PSNR指标上较先前最优方法提升4%,MSE指标降低19%,充分验证了其在保持高性能的同时实现显著的模型轻量化优势。