视频诱导的视觉不变性自监督学习

我们提出了一种基于视频诱导视觉不变性（Video-Induced Visual Invariances, VIVI）的通用自监督学习框架，用于学习可迁移的视觉表征。该框架充分利用视频中隐含的层次结构，分别利用三类不变性来构建一个全面的自监督损失函数：（i）帧级不变性（例如对颜色和对比度扰动的稳定性），（ii）镜头/片段级不变性（例如对物体姿态和光照条件变化的鲁棒性），以及（iii）视频级不变性（跨镜头或片段之间的语义场景关系）。在YouTube-8M（YT8M）数据集的视频上，采用该框架的不同变体进行训练，我们在视觉任务适应基准（Visual Task Adaptation Benchmark, VTAB）的19项多样化下游任务上取得了当前最优的自监督迁移学习性能，且每项任务仅使用1000个标注样本。此外，我们进一步展示了如何将所提出的模型与标注图像联合训练，仅使用ImageNet数据集1/10的标注图像，即在标注数据量减少10倍的情况下，性能仍优于在ImageNet上预训练的ResNet-50模型0.8个百分点；而在使用完整ImageNet数据集时，其表现也超越了此前最优的监督学习模型3.7个百分点。