HyperAIHyperAI

Command Palette

Search for a command to run...

3D姿态与追踪在人体动作识别中的优势

Jathushan Rajasegaran Georgios Pavlakos Angjoo Kanazawa Christoph Feichtenhofer Jitendra Malik

摘要

在本研究中,我们探讨了利用轨迹追踪与三维姿态信息进行动作识别的优势。为此,我们采用拉格朗日视角,将人体运动轨迹作为分析动作的依据,而非局限于空间中的固定点。这一视角使我们能够基于个体的运动轨迹片段(tracklets)来预测其行为。在此框架下,我们首先验证了利用三维姿态信息推断动作的有效性,并进一步研究了人与人之间的交互关系。随后,我们提出了一种拉格朗日动作识别模型(Lagrangian Action Recognition Model, LART),该模型通过融合轨迹上的三维姿态信息与上下文化外观特征,实现更精准的动作识别。实验结果表明,该方法在AVA v2.2数据集上,在仅使用姿态信息的设置以及标准基准设置下均达到了当前最优性能。在仅依赖姿态线索进行推理时,我们的姿态模型相比现有最优方法实现了+10.0 mAP的显著提升;而融合模型相较最优基线模型亦取得了+2.8 mAP的性能增益。相关代码与实验结果已公开,详见:https://brjathu.github.io/LART


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供