17 天前

PP-Matting:高精度自然图像抠图

Guowei Chen, Yi Liu, Jian Wang, Juncai Peng, Yuying Hao, Lutao Chu, Shiyu Tang, Zewu Wu, Zeyu Chen, Zhiliang Yu, Yuning Du, Qingqing Dang, Xiaoguang Hu, Dianhai Yu
PP-Matting:高精度自然图像抠图
摘要

自然图像抠图(natural image matting)是计算机视觉领域一项基础且具有挑战性的任务,在图像编辑与合成中具有广泛应用。近年来,基于深度学习的方法在图像抠图性能上取得了显著提升。然而,大多数现有方法仍依赖用户提供的三图(trimap)作为辅助输入,这一限制显著制约了其在真实场景中的应用。尽管已有部分无需三图的方法被提出,但其抠图质量相较于基于三图的方法仍存在明显差距。在缺乏三图引导的情况下,模型容易产生前景与背景之间的混淆,并在前景与背景的过渡区域生成模糊细节。针对上述问题,本文提出一种无需三图的新型架构——PP-Matting,能够实现高精度的自然图像抠图。该方法引入一个高分辨率细节分支(High-Resolution Detail Branch, HRDB),在保持特征图分辨率不变的前提下,有效提取前景的细粒度结构信息。同时,我们设计了一个语义上下文分支(Semantic Context Branch, SCB),通过引入语义分割作为辅助任务,增强模型对全局语义上下文的理解,从而缓解因语义信息缺失导致的局部模糊问题。我们在两个公认的基准数据集——Composition-1k 和 Distinctions-646 上进行了大量实验,结果表明,PP-Matting 在各项指标上均显著优于现有方法。此外,我们在人像抠图任务上进行了定性评估,进一步验证了该方法在实际应用中的卓越表现。相关代码与预训练模型将开源至 PaddleSeg 项目:https://github.com/PaddlePaddle/PaddleSeg。

PP-Matting:高精度自然图像抠图 | 最新论文 | HyperAI超神经