拓宽视野以实现自监督视频学习

大多数成功的自监督学习方法都是通过对数据中的两个独立视图进行表示对齐来训练的。视频领域的最先进方法受到图像技术的启发，其中这两个视图通过裁剪和增强裁剪后的区域以类似的方式提取。然而，这些方法忽略了视频领域中一个关键的要素：时间。我们引入了BraVe，一种用于视频的自监督学习框架。在BraVe中，其中一个视图仅能访问视频的一个狭窄的时间窗口，而另一个视图则可以广泛访问视频内容。我们的模型学会了从狭窄视图泛化到整个视频的内容。此外，BraVe使用不同的主干网络处理这两个视图，从而可以在广泛的视图中引入替代的数据增强方法或模态，例如光流、随机卷积的RGB帧、音频或它们的组合。我们证明了BraVe在标准的视频和音频分类基准测试（如UCF101、HMDB51、Kinetics、ESC-50和AudioSet）上实现了最先进水平的自监督表示学习结果。