17 天前

上下文感知的图像抠图用于前景与Alpha图的联合估计

Qiqi Hou, Feng Liu
上下文感知的图像抠图用于前景与Alpha图的联合估计
摘要

自然图像抠图是计算机视觉与图形学领域中的一个重要问题。当仅提供输入图像而缺乏任何外部信息时,该问题属于病态问题。尽管近年来基于深度学习的方法已取得令人瞩目的进展,但这些方法通常仅能估计透明度掩膜(alpha matte)。本文提出了一种上下文感知的自然图像抠图方法,可实现前景图像与透明度掩膜的联合估计。该方法采用两个编码器网络来提取抠图所需的关键信息:其中,抠图编码器用于学习局部特征,上下文编码器则用于获取更具全局性的上下文信息。我们将两个编码器的输出进行拼接,并输入解码器网络,以实现前景图像与透明度掩膜的同步估计。为训练整个深度神经网络,我们同时采用标准的拉普拉斯损失(Laplacian loss)与特征损失(feature loss):前者有助于提升数值精度,后者则能生成更具视觉合理性的结果。此外,本文还提出多种数据增强策略,显著提升了网络的泛化能力。定性与定量实验结果表明,所提方法能够在单张自然图像上实现高质量的抠图效果。相关推理代码与预训练模型已公开发布于 GitHub:https://github.com/hqqxyy/Context-Aware-Matting。