17 天前
PP-Matting:高精度自然图像抠图
Guowei Chen, Yi Liu, Jian Wang, Juncai Peng, Yuying Hao, Lutao Chu, Shiyu Tang, Zewu Wu, Zeyu Chen, Zhiliang Yu, Yuning Du, Qingqing Dang, Xiaoguang Hu, Dianhai Yu

摘要
自然图像抠图(natural image matting)是计算机视觉领域一项基础且具有挑战性的任务,在图像编辑与合成中具有广泛应用。近年来,基于深度学习的方法在图像抠图性能上取得了显著提升。然而,大多数现有方法仍依赖用户提供的三图(trimap)作为辅助输入,这一限制显著制约了其在真实场景中的应用。尽管已有部分无需三图的方法被提出,但其抠图质量相较于基于三图的方法仍存在明显差距。在缺乏三图引导的情况下,模型容易产生前景与背景之间的混淆,并在前景与背景的过渡区域生成模糊细节。针对上述问题,本文提出一种无需三图的新型架构——PP-Matting,能够实现高精度的自然图像抠图。该方法引入一个高分辨率细节分支(High-Resolution Detail Branch, HRDB),在保持特征图分辨率不变的前提下,有效提取前景的细粒度结构信息。同时,我们设计了一个语义上下文分支(Semantic Context Branch, SCB),通过引入语义分割作为辅助任务,增强模型对全局语义上下文的理解,从而缓解因语义信息缺失导致的局部模糊问题。我们在两个公认的基准数据集——Composition-1k 和 Distinctions-646 上进行了大量实验,结果表明,PP-Matting 在各项指标上均显著优于现有方法。此外,我们在人像抠图任务上进行了定性评估,进一步验证了该方法在实际应用中的卓越表现。相关代码与预训练模型将开源至 PaddleSeg 项目:https://github.com/PaddlePaddle/PaddleSeg。