用于高效视频理解的时序自适应模型

空间卷积在众多深度视频模型中被广泛使用，其基本假设是时空不变性，即在不同帧的各个位置上共享卷积权重。本文提出了一种时序自适应卷积（Temporally-Adaptive Convolutions, TAdaConv），用于视频理解任务，结果表明：沿时间维度进行自适应的权重校准，是一种高效建模视频中复杂时序动态的有效方法。具体而言，TAdaConv通过根据每帧的局部与全局时间上下文信息，对卷积核权重进行动态校准，从而赋予空间卷积以时间建模能力。相较于现有的时序建模操作，TAdaConv具有更高的效率，因为它作用于卷积核本身，而非特征图，而卷积核的维度比空间分辨率小一个数量级。此外，核权重的动态校准还带来了模型容量的提升。基于这一即插即用的TAdaConv模块及其扩展版本TAdaConvV2，我们构建了TAdaBlocks，使ConvNeXt与视觉Transformer模型具备强大的时序建模能力。实验结果表明，TAdaConvNeXtV2与TAdaFormer在多个视频理解基准测试中，性能可与当前最先进的卷积与Transformer模型相媲美。相关代码与模型已开源，地址为：https://github.com/alibaba-mmai-research/TAdaConv。