HyperAIHyperAI

Command Palette

Search for a command to run...

重新思考视频ViTs:稀疏视频管用于图像和视频的联合学习

AJ Piergiovanni Weicheng Kuo Anelia Angelova

摘要

我们提出了一种简单的方法,可以将ViT编码器转换为高效的视频模型,该模型能够无缝处理图像和视频输入。通过稀疏采样输入数据,模型可以从这两种输入中进行训练和推理。该模型易于扩展,并且可以在无需完全微调的情况下适应大规模预训练的ViT模型。实验结果表明,该模型达到了当前最佳(SOTA)性能,相关代码也将开源。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供