大多数基于卷积神经网络（CNN）的图像修复方法采用标准卷积来无差别地处理有效像素和空洞，这使得它们在处理不规则空洞时存在局限性，更容易生成颜色差异和模糊的修复结果。部分卷积已被提出用于解决这一问题，但它采用了手工设计的特征重归一化，并且仅考虑前向掩模更新。在本文中，我们提出了一种可学习的注意力图模块，以端到端的方式学习特征重归一化和掩模更新，该模块在适应不规则空洞和卷积层传播方面表现出色。此外，我们引入了可学习的反向注意力图，使U-Net的解码器能够专注于填充不规则空洞而不是同时重建空洞和已知区域，从而形成了我们的可学习双向注意力图。定性和定量实验表明，我们的方法在生成更锐利、更连贯且视觉上更合理的图像修复结果方面优于现有最先进方法。源代码和预训练模型将对外公开。