在注意力机制中学习流场以实现可控的人物图像生成

可控人物图像生成旨在根据参考图像生成人物图像，允许对人物的外观或姿态进行精确控制。然而，先前的方法尽管在整体图像质量上取得了较高水平，但往往会导致参考图像中的细粒度纹理细节失真。我们认为这些失真是由于在参考图像中对应区域的关注不足所致。为了解决这一问题，我们提出了一种在注意力机制中学习流场（Learning Flow Fields in Attention, Leffa）的方法，该方法在训练过程中显式地引导目标查询关注到正确的参考键。具体而言，这是通过在基于扩散模型的基线中添加一个正则化损失来实现的，该损失作用于注意力图之上。我们的大量实验表明，Leffa 在控制外观（虚拟试穿）和姿态（姿态迁移）方面达到了最先进的性能，显著减少了细粒度细节的失真，同时保持了高图像质量。此外，我们还证明了所提出的损失函数具有模型无关性，可以用于提升其他扩散模型的性能。