摘要
近期关于图像融合的研究通过大型自动编码器将问题视为像素级图像转换任务来解决。然而，这些方法在处理高分辨率图像时表现不佳且推理速度较慢。在本研究中，我们观察到，调整基本图像滤波器（如亮度和对比度）的输入参数足以使人类从合成图像中生成逼真的图像。因此，我们将图像融合问题框架为图像级别的回归问题，以学习人类用于该任务的滤波器参数。我们提出了一种名为Harmonizer的框架用于图像融合。与以往基于黑箱自动编码器的方法不同，Harmonizer包含一个用于预测滤波器参数的神经网络以及多个基于预测参数的白箱滤波器来实现图像融合。此外，我们引入了级联回归器和动态损失策略，以使Harmonizer能够更稳定和精确地学习滤波器参数。由于我们的网络仅输出图像级别的参数，并且所使用的滤波器效率较高，因此Harmonizer比现有方法更轻量且更快。大量实验表明，Harmonizer显著超越了现有方法，尤其是在处理高分辨率输入时。最后，我们将Harmonizer应用于视频融合，在1080P分辨率下实现了帧间一致的结果和56帧每秒的速度。代码和模型可在以下地址获取：https://github.com/ZHKKKe/Harmonizer。