11 天前
无需解析器的虚拟试穿:通过外观流蒸馏实现
Yuying Ge, Yibing Song, Ruimao Zhang, Chongjian Ge, Wei Liu, Ping Luo

摘要
图像虚拟试穿旨在将一件服装图像(目标衣物)自然地融合到人物图像中。以往的方法高度依赖人体分割(human parsing)技术,然而,即使存在轻微的分割误差,也容易导致试穿图像出现明显伪影,结果不真实。由于分割不准确,基于分割的方法往往生成视觉上不自然的图像,伪影问题尤为突出。近期一项开创性工作采用知识蒸馏技术,降低了对人类分割的依赖:该方法利用基于分割模型生成的试穿图像作为监督信号,训练一个无需依赖分割的“学生”网络,使其模仿原分割模型的试穿能力。然而,该学生网络的图像质量受限于原始分割模型的性能。为解决这一问题,本文提出一种新颖的“教师-导师-学生”知识蒸馏框架,能够在完全不依赖人体分割的前提下,生成高度逼真的试穿图像,并相较现有方法展现出多项显著优势:(1)与现有工作不同,本文将基于分割模型生成的伪图像视为“导师知识”,其中存在的伪影可通过从真实人物图像中以自监督方式提取的“教师知识”进行纠正,从而实现更高质量的图像生成;(2)不同于以往直接使用真实图像作为监督信号,本文将知识蒸馏过程建模为从人物图像到服装图像之间的外观流动(appearance flow)的蒸馏,从而能够精确捕捉二者之间的密集对应关系,显著提升试穿结果的保真度与细节质量;(3)大量实验评估表明,本文方法在视觉效果与定量指标上均展现出显著优势(详见图1)。