重新思考视频ViTs：稀疏视频管用于图像和视频的联合学习

我们提出了一种简单的方法，可以将ViT编码器转换为高效的视频模型，该模型能够无缝处理图像和视频输入。通过稀疏采样输入数据，模型可以从这两种输入中进行训练和推理。该模型易于扩展，并且可以在无需完全微调的情况下适应大规模预训练的ViT模型。实验结果表明，该模型达到了当前最佳（SOTA）性能，相关代码也将开源。