基于一阶运动模型的图像动画生成

图像动画是指生成一段视频序列，使源图像中的对象根据驱动视频中的运动进行动画化。我们的框架在无需任何标注信息或关于待动画化对象的先验知识的情况下解决该问题。在对同一类别对象（例如人脸、人体）的视频数据集进行训练后，该方法可适用于该类别中的任意对象。为实现这一目标，我们采用自监督学习范式，将外观信息与运动信息解耦。为支持复杂的运动，我们引入了一种基于一组可学习关键点及其局部仿射变换的表示方法。生成网络能够建模目标运动过程中产生的遮挡现象，并将源图像中提取的外观特征与驱动视频中提取的运动信息相结合。在多种基准测试和不同对象类别上，我们的方法均取得了最佳性能。相关源代码已公开发布。