HyperAIHyperAI

Command Palette

Search for a command to run...

多视角Transformer用于视频识别

Shen Yan Xuehan Xiong Anurag Arnab Zhichao Lu Mi Zhang Chen Sun Cordelia Schmid

摘要

视频理解需要在多个时空分辨率上进行推理——从短时的细粒度运动到持续时间较长的事件。尽管近年来基于Transformer的架构已显著推动了该领域的技术进步,但这些方法并未显式建模不同的时空分辨率。为此,我们提出了用于视频识别的多视角Transformer(Multiview Transformers for Video Recognition, MTV)。该模型采用独立的编码器来分别表征输入视频的不同视角,并通过横向连接实现跨视角的信息融合。我们对模型进行了全面的消融实验,结果表明,在不同模型规模下,MTV在准确率和计算成本方面均持续优于单视角模型。此外,我们在六个标准数据集上取得了当前最优的性能表现,并在大规模预训练的加持下进一步提升。相关代码与模型检查点已开源,地址为:https://github.com/google-research/scenic/tree/main/scenic/projects/mtv


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供