17 天前

基于粗略标注的语义人体抠图增强

Jinlin Liu, Yuan Yao, Wendi Hou, Miaomiao Cui, Xuansong Xie, Changshui Zhang, Xian-sheng Hua
基于粗略标注的语义人体抠图增强
摘要

语义人体抠图旨在估计前景人体区域中每个像素的透明度(即α值)。该任务极具挑战性,通常需要用户交互式提供的trimap以及大量高质量的标注数据。然而,获取此类数据耗时耗力,且对标注者的技术要求较高,尤其在处理人体细节(如头发)时更为困难。相比之下,粗粒度标注的人体数据则更容易获取,可从公开数据集中较便捷地收集。本文提出一种新方法,利用粗粒度标注数据与细粒度标注数据相结合的方式,在无需额外trimap输入的前提下,实现端到端的语义人体抠图。具体而言,我们训练一个掩码预测网络,基于混合数据学习生成粗粒度语义掩码;随后设计一个质量统一网络,用于统一前序粗粒度掩码输出的质量一致性;最后,通过一个抠图精化网络,将统一后的掩码与输入图像联合输入,以预测最终的α抠图。所收集的粗粒度标注数据显著丰富了我们的训练数据集,从而能够为真实图像生成高质量的α抠图。实验结果表明,所提方法在性能上可与当前最先进的方法相媲美。此外,该方法还可用于优化粗粒度标注的公开数据集,以及改进语义分割模型的输出,从而大幅降低高质量人体标注数据的获取成本。