17 天前

背景抠像:世界即你的绿幕

Soumyadip Sengupta, Vivek Jayaram, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman
背景抠像:世界即你的绿幕
摘要

我们提出了一种在日常环境中使用手持相机拍摄照片或视频,以生成人物图像的纯色稿(matte)——即每个像素的前景颜色与透明度(alpha)——的方法。现有的大多数抠像方法依赖于绿幕背景,或需要人工手动创建Trimap才能获得高质量的纯色稿。尽管近年来出现了部分自动化的、无需Trimap的方法,但其效果仍难以与传统方法相媲美。在本研究提出的无Trimap方法中,我们要求用户在拍摄时额外拍摄一张不含主体的背景图像。这一操作仅需少量预先规划,远比手动创建Trimap更加高效便捷。我们采用带有对抗性损失(adversarial loss)的深度神经网络来预测纯色稿。首先,我们在包含合成图像的真值数据上,使用监督损失训练一个抠像网络。为弥合合成数据与真实图像之间的域差距(domain gap),且无需人工标注,我们进一步训练第二个抠像网络,该网络由第一个网络和一个用于评估合成图像质量的判别器(discriminator)共同指导。我们在大量不同类型的照片与视频上进行了实验,结果表明,本方法在效果上显著优于当前最先进的技术。