EquiAV：利用等变性进行音视频对比学习

近年来，自监督音视频表征学习的进展已展现出其捕捉丰富且全面表征的巨大潜力。然而，尽管数据增强在诸多学习方法中已被证明具有显著优势，音视频学习仍难以充分受益于这一技术，原因在于增强操作容易破坏输入样本对之间的对应关系。为解决这一局限，本文提出一种名为EquiAV的新框架，通过利用等变性（equivariance）实现音视频对比学习。我们的方法首先将等变性思想拓展至音视频学习领域，借助一个共享的基于注意力的变换预测模块实现。该模块能够将来自多种增强方式的特征聚合为一个具有代表性的嵌入向量，从而提供稳健的监督信号。值得注意的是，该方法仅带来极小的计算开销。大量消融实验与定性分析验证了所提方法的有效性。在多个音视频基准测试中，EquiAV均显著优于现有方法。代码已开源，可访问 https://github.com/JongSuk1/EquiAV。