学习全局感知核用于图像融合

图像和谐化旨在通过以背景为参考自适应调整前景像素来解决合成图像中的视觉不一致性问题。现有的方法通常采用局部颜色变换或前景与背景之间的区域匹配，这忽视了强大的邻近先验信息，并且独立地将前景和背景作为一个整体部分进行和谐化处理。因此，这些方法在处理不同类型的前景对象和场景时仍表现出有限的性能。为了解决这一问题，我们提出了一种新颖的全局感知核网络（GKNet），该网络能够在全面考虑远距离背景参考的情况下和谐化局部区域。具体而言，GKNet 包含两个部分，即和谐核预测分支和和谐核调制分支。前者包括一个远距离参考提取器（Long-distance Reference Extractor, LRE）用于获取远距离上下文信息，以及多个核预测块（Kernel Prediction Blocks, KPB）通过融合全局信息与局部特征来预测多层级的和谐核。为了实现这一目标，我们提出了一种新的选择性相关融合模块（Selective Correlation Fusion, SCF），以便更好地选择与局部和谐化相关的远距离背景参考。后者则利用预测的核来同时考虑局部和全局信息对前景区域进行和谐化处理。大量的实验表明，我们的方法在图像和谐化方面优于现有最先进方法，例如实现了39.53分贝的峰值信噪比（PSNR），比最佳竞争对手高出+0.78分贝；相比最先进的方法，fMSE/MSE 分别降低了11.5% 和6.7%。代码将在 \href{https://github.com/XintianShen/GKNet}{此处} 提供。