11 天前

全范围的虚拟试穿:基于循环三层次变换

{Ziwei Liu, Xinrui Yu, Han Yang}
全范围的虚拟试穿:基于循环三层次变换
摘要

虚拟试衣旨在将目标服装图像无缝迁移至参考人物身上。尽管已有诸多进展,现有方法的功能范围仍主要局限于标准服装(如无复杂装饰、无破洞效果的普通衬衫),而对非标准服装(如露肩衬衫、文字肩连衣裙等)所呈现的丰富复杂性与多样性则普遍忽视。为此,本文提出一种系统性框架——循环三层次变换(Recurrent Tri-Level Transform, RT-VTON),可实现对标准与非标准服装的全范围虚拟试衣。本框架的设计基于两项关键洞察:(1)语义迁移需在服装表征的三个不同层次——服装编码、姿态编码与分割编码——上实现渐进式的特征变换;(2)几何迁移需在刚性与柔性之间实现受约束的图像形变。首先,我们通过局部门控注意力机制与非局部对应学习,递归地优化三层次特征编码,以预测“试穿后”人物的语义信息;其次,设计一种半刚性形变机制,用于对齐服装图像与预测的语义结构,同时保持局部形变的一致性;最后,通过一个标准试衣合成器融合所有处理后的信息,生成最终的着装人物图像。在主流基准数据集上的大量实验以及用户评估结果表明,本框架在定量与定性指标上均达到当前最优性能。尤为突出的是,RT-VTON在多种非标准服装上均展现出卓越的生成效果,显著拓展了虚拟试衣的应用边界。

全范围的虚拟试穿:基于循环三层次变换 | 最新论文 | HyperAI超神经