时间循环一致性学习

我们介绍了一种基于视频时间对齐任务的自监督表示学习方法。该方法利用时间循环一致性（Temporal Cycle Consistency, TCC）训练网络，这是一种可微分的循环一致性损失函数，可用于在多个视频中找到时间上的对应关系。通过在学习到的嵌入空间中匹配最近邻帧，可以轻松实现视频的时间对齐。为了评估这些嵌入向量的能力，我们在Pouring和Penn Action视频数据集上密集地标记了动作阶段。我们展示了以下两点：(i) 学习到的嵌入向量能够实现少量样本分类这些动作阶段，显著减少了监督训练的需求；(ii) TCC与其他自监督学习方法（如Shuffle and Learn和时间对比网络）是互补的。此外，这些嵌入向量还被用于基于视频对之间的时间对齐（密集时间对应）的多种应用，包括同步模态之间的元数据传输（声音、时间语义标签）、多视频同步播放以及异常检测。项目网页：https://sites.google.com/view/temporal-cycle-consistency 。