HyperAIHyperAI

Command Palette

Search for a command to run...

MasaCtrl:无需调参的互自注意力控制用于一致的图像生成与编辑

Mingdeng Cao extsuperscript1,2 ootnoteWork done during an internship at ARC Lab, Tencent PCG. Xintao Wang extsuperscript2 ootnoteARC Lab, Tencent PCG. Zhongang Qi extsuperscript2 Ying Shan extsuperscript2 Xiaohu Qie extsuperscript2 Yinqiang Zheng extsuperscript1

摘要

尽管在大规模文本到图像生成和文本条件下的图像编辑方面取得了成功,现有的方法仍然难以产生一致的生成和编辑结果。例如,生成方法通常无法合成同一对象或角色的不同视角或姿态的多张图像。同时,现有的编辑方法要么在保持整体纹理和身份的同时无法实现有效的复杂非刚性编辑,要么需要耗时的微调以捕捉特定图像的外观特征。本文中,我们开发了MasaCtrl,这是一种无需微调的方法,可以同时实现一致的图像生成和复杂的非刚性图像编辑。具体而言,MasaCtrl将扩散模型中的现有自注意力机制转换为互自注意力机制,从而可以从源图像中查询相关联的局部内容和纹理以确保一致性。为了进一步缓解前景和背景之间的查询混淆问题,我们提出了一种基于掩码引导的互自注意力策略,其中掩码可以轻松从交叉注意力图中提取。广泛的实验表明,所提出的MasaCtrl在一致的图像生成和复杂的非刚性真实图像编辑方面均能产生令人印象深刻的结果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供