HyperAIHyperAI

Command Palette

Search for a command to run...

DVANet:分离视图和动作特征以实现多视图动作识别

Nyle Siddiqui Praveen Tirupattur Mubarak Shah

摘要

在本研究中,我们提出了一种新颖的多视角动作识别方法,通过引导学习到的动作表示与视频中的视角相关信息分离来实现。在尝试从多个视角捕获的动作实例进行分类时,由于不同摄像角度下背景、遮挡和动作可见性的差异,难度会更高。为了解决多视角动作识别中引入的各种问题,我们提出了一种新的可学习 Transformer 解码器查询配置,并结合两种监督对比损失,以强制学习对视角变化具有鲁棒性的动作特征。我们的解耦特征学习分为两个阶段: Transformer 解码器使用独立的查询分别学习动作和视角信息,然后通过我们的两种对比损失进一步解耦。实验结果表明,我们的模型和训练方法在四个多视角动作识别数据集(NTU RGB+D、NTU RGB+D 120、PKU-MMD 和 N-UCLA)上显著优于所有其他单模态模型。与之前的 RGB 工作相比,我们在每个数据集上的最大改进分别为 1.5%、4.8%、2.2% 和 4.8%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供