
摘要
我们提出MGP-VAE(多解耦特征高斯过程变分自编码器,Multi-disentangled-features Gaussian Processes Variational AutoEncoder),这是一种基于变分自编码器架构的模型,利用高斯过程(Gaussian Process, GP)对潜在空间进行建模,用于视频序列中无监督解耦表征的学习。相较于以往工作,我们构建了一个能够实现多个独立特征(静态或动态)解耦的统一框架。具体而言,我们采用分数阶布朗运动(fractional Brownian motion, fBM)与布朗桥(Brownian bridge, BB)来在每个独立通道中施加帧间相关性结构,并证明通过调节该结构,能够有效捕捉数据中不同的变化因素。我们在三个公开可用的数据集上进行了实验,验证了所学习表征的质量,同时通过视频预测任务量化了模型性能的提升。此外,我们提出了一种新颖的测地线损失函数(geodesic loss function),该函数考虑了数据流形的曲率特性,从而进一步提升模型学习效果。实验结果表明,结合改进的表征学习能力与新型损失函数,MGP-VAE在视频预测任务中显著优于现有基线模型。