HyperAIHyperAI

Command Palette

Search for a command to run...

动作机器:重新思考剪辑视频中的动作识别

Jiagang Zhu Wei Zou Liang Xu Yiming Hu Zheng Zhu Manyu Chang Junjie Huang Guan Huang Dalong Du

摘要

现有的视频动作识别方法大多未能区分人体与环境,容易对场景和物体产生过拟合。本文提出了一种概念简单、通用且高性能的框架,用于剪辑视频中的动作识别,旨在实现以人为中心的建模。该方法称为“Action Machine”,其输入为通过人物边界框裁剪的视频片段。它扩展了膨胀3D卷积网络(Inflated 3D ConvNet, I3D),增加了一个人体姿态估计分支和一个基于姿态的动作识别2D卷积神经网络(2D CNN),从而实现了快速训练和测试。“Action Machine”可以从动作识别和姿态估计的多任务训练中获益,同时融合RGB图像和姿态预测的结果。在NTU RGB-D数据集上,“Action Machine”分别在跨视角和跨主体测试中取得了97.2%和94.3%的最高精度,达到了当前最先进的性能。“Action Machine”在另外三个较小的动作识别数据集——Northwestern UCLA多视角动作3D、MSR日常活动3D和UTD-MHAD上也表现出色。代码将对外公开。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供