17 天前

双上下文聚合用于通用图像抠图

Qinglin Liu, Xiaoqian Lv, Wei Yu, Changyong Guo, Shengping Zhang
双上下文聚合用于通用图像抠图
摘要

自然图像抠图旨在从给定图像中估计前景的alpha蒙版。针对这一问题,已有多种方法被提出,包括利用点击或trimap等引导信息的交互式抠图方法,以及针对特定物体设计的自动抠图方法。然而,现有抠图方法通常针对特定物体或特定引导方式而设计,忽视了图像抠图中融合全局与局部上下文信息这一普遍需求。因此,这些方法在准确识别前景和生成精细边界方面常面临挑战,导致其在未见过的场景中表现受限。本文提出一种简洁且通用的抠图框架——双上下文聚合抠图(Dual-Context Aggregation Matting, DCAM),能够实现对任意引导信息甚至无引导情况下的鲁棒抠图。具体而言,DCAM首先采用语义主干网络从输入图像及引导信息中提取低层特征与上下文特征。随后,引入双上下文聚合网络,通过集成全局物体聚合器与局部外观聚合器,迭代地优化所提取的上下文特征。该设计同时实现全局轮廓分割与局部边界精细化,使模型对各类引导方式和不同物体均具有良好的适应性。最后,通过抠图解码网络融合低层特征与优化后的上下文特征,完成alpha蒙版的估计。在五个主流抠图数据集上的实验结果表明,所提出的DCAM在自动抠图与交互式抠图任务中均优于当前最先进的方法,充分体现了其出色的通用性与高性能。项目源代码已公开,地址为:\url{https://github.com/Windaway/DCAM}。