11 天前

高分辨率虚拟试穿:处理错位与遮挡条件

Sangyun Lee, Gyojung Gu, Sunghyun Park, Seunghwan Choi, Jaegul Choo
高分辨率虚拟试穿:处理错位与遮挡条件
摘要

基于图像的虚拟试穿旨在合成一个人穿着指定服装的图像。现有方法通常通过将服装图像形变以贴合人体轮廓,并在融合前生成穿戴该服装的人体分割图来完成任务。然而,当形变与分割图生成两个阶段独立运行、缺乏信息交互时,会导致形变后的服装与分割图之间出现错位,从而在最终图像中产生伪影。此外,由于信息断连,身体遮挡区域附近的服装形变过度,引发所谓的“像素挤压伪影”(pixel-squeezing artifacts)。为解决上述问题,我们提出了一种新型的虚拟试穿条件生成模块,作为形变与分割图生成两个阶段的统一框架。该条件生成模块中引入了一种新型特征融合块,实现两阶段之间的有效信息交互,从而避免了错位与像素挤压伪影的产生。同时,我们设计了判别器拒收机制(discriminator rejection),用于过滤错误的分割图预测结果,进一步保障虚拟试穿框架的性能。在高分辨率数据集上的实验表明,所提模型能够有效处理形变错位与遮挡问题,显著优于现有基线方法。代码已开源,地址为:https://github.com/sangyun884/HR-VITON。

高分辨率虚拟试穿:处理错位与遮挡条件 | 最新论文 | HyperAI超神经