9 天前

基于全局与局部注意力的自由形式图像修复

{Yong Ju Jung, S. M. Nadim Uddin}
摘要

基于深度学习的图像修复方法在矩形与不规则孔洞的修复任务中均展现出显著潜力。然而,由于不规则孔洞在形状和位置上具有高度不确定性,其修复仍面临诸多挑战。仅依赖卷积神经网络(CNN)或对抗性监督,难以保证合理的修复效果,因为不规则孔洞的修复需要基于注意力机制的引导,以有效获取用于内容生成的信息。为此,本文提出两种新型注意力机制:一种是基于掩码剪枝的全局注意力模块,另一种是结合全局与局部注意力的模块,旨在捕捉特征间的全局依赖关系以及局部相似性信息,从而实现更精细的修复结果。所提出的方法在多个前沿方法上进行了评估,实验结果表明,无论在定量指标还是定性视觉效果方面,本方法均优于现有技术。