基于掩码感知的端到端级联优化图像修复

任意缺失区域的图像修复（inpainting）具有挑战性，主要原因在于为不同形状和分布的掩码区域学习有效特征并非易事。尽管U型编码器-解码器架构已被证明在该任务中表现优异，但其普遍存在一个共同缺陷：在特征提取过程中对掩码信息“无感知”。这是因为所有卷积窗口（或区域），包括具有不同形状缺失像素的区域，均被同等对待，并通过固定的预训练卷积核进行滤波处理，无法根据掩码结构自适应调整。为解决上述问题，本文提出一种新颖的掩码感知图像修复方法。首先，在编码阶段设计了掩码感知动态滤波（Mask-Aware Dynamic Filtering, MADF）模块，用于有效学习缺失区域的多尺度特征。具体而言，每个卷积窗口的滤波器参数由对应掩码区域的特征动态生成，从而实现对掩码结构的感知与自适应响应。其次，在解码阶段引入逐点归一化（Point-wise Normalization, PN），以实现第二层掩码感知机制。考虑到掩码区域中的特征统计特性与未掩码区域存在显著差异，本文提出的PN模块通过动态分配逐点缩放因子与偏置，有效缓解了这一问题。最后，所提模型采用端到端级联细化架构，逐步引入监督信息，包括重建损失、感知损失和总变差损失，实现从粗到细的渐进式修复优化。通过在三个公开数据集（Places2、CelebA 和 Paris StreetView）上进行大量实验，本文方法在定量与定性两个层面均验证了其有效性与优越性。