街拍试穿：从非配对人物图像中学习野外虚拟试穿

大多数虚拟试穿研究的初衷是服务于时尚产业，通过生成图像在工作室模特身上展示服装，以降低成本。然而，虚拟试穿的应用应更为广泛，能够使消费者利用自身日常拍摄的照片，直观地在自己身上预览服装效果，这种场景被称为“野外试穿”（in-the-wild try-on）。遗憾的是，现有方法虽然在工作室环境下的试穿任务中能够取得合理效果，但在野外场景中表现不佳。其主要原因在于，这些方法通常依赖成对的数据进行训练——即同一服装在人物身上的图像与该人物穿着该服装的图像配对。尽管在电商网站等工作室场景中，这类成对数据相对容易获取，但在真实、复杂的野外环境中，获取此类配对数据则极为困难。针对这一问题，本文提出两项关键贡献：（1）构建首个面向野外试穿场景的基准数据集——StreetTryOn，以推动该领域的发展；（2）提出一种新颖的无配对训练方法，可直接从一组野外人物图像中学习虚拟试穿能力，无需依赖成对数据。为应对野外试穿中的独特挑战，如将服装精准适配至多样化的身体姿态、真实还原复杂背景，本文设计了一种结合密集姿态映射（DensePose）校正与基于扩散模型的条件修复（diffusion-based conditional inpainting）的新方法。实验结果表明，该方法在标准工作室试穿任务中表现优异，同时在野外试穿及跨域试穿任务中均达到当前最优（SOTA）水平。