HyperAIHyperAI

Command Palette

Search for a command to run...

图像到视频Transformer的双路径适应

Jungin Park Jiyoung Lee Kwanghoon Sohn

摘要

本文中,我们通过仅使用少量可训练参数,高效地将视觉基础模型(如ViT和Swin)的卓越表示能力应用于视频理解。以往的适应方法虽然同时考虑了空间和时间建模,并采用了统一的可学习模块,但仍未能充分利用图像变换器的表示能力。我们认为,视频模型中流行的双路径(两流)架构可以缓解这一问题。我们提出了一种新颖的双路径适应方法,该方法分为空间适应路径和时间适应路径,在每个变换器块中都使用了一个轻量级瓶颈适配器。特别是在时间动态建模方面,我们将连续帧整合到一个网格状帧集(frameset)中,以精确模拟视觉变换器在推断令牌之间关系的能力。此外,我们从统一的角度广泛研究了视频理解中的多个基线,并将其与双路径方法进行了比较。四个动作识别基准测试的实验结果证明,预训练的图像变换器结合双路径方法可以有效地泛化到数据域之外。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供