通过自适应生成与保持图像内容实现逼真的虚拟试穿

图像虚拟试穿旨在将目标服装图像无缝融合至参考人物图像上，近年来已成为研究热点。以往方法通常侧重于在将服装图像变形以适配任意人体姿态时，保持其原有特征（如纹理、品牌标识、刺绣等）。然而，当参考人物图像中存在较大遮挡或复杂姿态时，生成逼真的试穿图像仍面临巨大挑战。为解决这一问题，本文提出一种新型视觉试穿网络——自适应内容生成与保持网络（Adaptive Content Generating and Preserving Network, ACGPN）。具体而言，ACGPN 首先预测参考图像在试穿后需发生改变的语义布局（例如：长袖衬衫→手臂区域，手臂→外套区域），并根据该预测结果判断各区域图像内容应进行生成还是保持，从而实现高度逼真的试穿效果及丰富的服装细节表达。ACGPN 主要包含三个核心模块：第一，语义布局生成模块，利用参考图像的语义分割结果，逐步预测试穿后的目标语义布局；第二，服装形变模块，根据生成的语义布局对服装图像进行形变映射，并引入二阶差分约束以在训练过程中稳定形变过程；第三，图像修复融合模块，用于整合所有信息（包括参考图像、语义布局、形变后的服装图像），自适应地生成人体各语义区域的内容。与当前最先进的方法相比，ACGPN 能够生成具有更优感知质量与更丰富细节的逼真试穿图像，显著提升了虚拟试穿的视觉真实感与细节保真度。