11 天前

姿态操控与身份保持

{Andrei-Timotei Ardelean, Lucian Mircea Sasu}
姿态操控与身份保持
摘要

本文提出了一种新型模型,仅需少量人物图像实例,即可生成该人物在新姿态下的图像,例如通过改变面部表情和朝向。与以往需要大量特定个体数据进行训练的方法不同,本方法可从极少量图像出发,甚至仅需单张图像即可启动。为此,我们提出了角色自适应身份归一化生成对抗网络(Character Adaptive Identity Normalization GAN, CainGAN),该模型利用嵌入器从源图像中提取空间特征,并将这些特征在多张图像间进行融合。通过引入条件归一化机制,身份信息在整个网络中得以有效传递。经过充分的对抗训练后,CainGAN能够接收某一特定个体的面部图像,并生成新的面部图像,同时完整保留该个体的身份特征。实验结果表明,生成图像的质量随推理阶段输入图像数量的增加而提升。此外,定量评估显示,在训练数据有限的情况下,CainGAN的表现优于现有其他方法。

姿态操控与身份保持 | 最新论文 | HyperAI超神经