多视角Transformer用于视频识别

视频理解需要在多个时空分辨率上进行推理——从短时的细粒度运动到持续时间较长的事件。尽管近年来基于Transformer的架构已显著推动了该领域的技术进步，但这些方法并未显式建模不同的时空分辨率。为此，我们提出了用于视频识别的多视角Transformer（Multiview Transformers for Video Recognition, MTV）。该模型采用独立的编码器来分别表征输入视频的不同视角，并通过横向连接实现跨视角的信息融合。我们对模型进行了全面的消融实验，结果表明，在不同模型规模下，MTV在准确率和计算成本方面均持续优于单视角模型。此外，我们在六个标准数据集上取得了当前最优的性能表现，并在大规模预训练的加持下进一步提升。相关代码与模型检查点已开源，地址为：https://github.com/google-research/scenic/tree/main/scenic/projects/mtv。