HyperAIHyperAI

Command Palette

Search for a command to run...

SCAM!基于语义交叉注意力调制的图像间人体传输

Nicolas Dufour David Picard Vicky Kalogeiton

摘要

近期大量研究致力于语义条件下的图像生成。大多数方法集中在姿态迁移这一较窄的任务上,而忽略了更具挑战性的主体迁移任务,该任务不仅涉及姿态的迁移,还包括外观和背景的迁移。在本研究中,我们引入了SCAM(Semantic Cross Attention Modulation),这是一种系统,能够在图像的每个语义区域(包括前景和背景)中编码丰富多样的信息,从而实现对细节精确控制的图像生成。通过使用语义注意力变换器编码器提取每个语义区域的多个潜在向量,并利用这些多个潜在向量进行语义交叉注意力调制的生成器来实现这一点。该系统仅在重建设置下进行训练,而在测试时执行主体迁移。我们的分析表明,所提出的架构成功地编码了每个语义区域外观的多样性。在iDesigner和CelebAMask-HD数据集上的广泛实验显示,SCAM优于SEAN和SPADE;此外,它在主体迁移任务上树立了新的技术标杆。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供