HyperAIHyperAI

Command Palette

Search for a command to run...

基于骨架的零样本动作识别通过互信息估计与最大化

摘要

零样本骨架动作识别旨在在训练过程中仅使用已见类别数据的情况下,识别未见类别的动作。其关键在于建立从已见类别到未见类别的视觉空间与语义空间之间的联系。以往的研究主要集中在将序列编码为单一特征向量,并随后将这些特征映射到嵌入空间中的相同锚点。然而,这些方法的性能受到以下两方面因素的限制:1)忽视了全局视觉/语义分布对齐,导致无法充分捕捉两个空间之间的真实相互依赖关系;2)忽略了时间信息,因为富含动作线索的帧级特征被直接池化为一个单一的特征向量。我们提出了一种基于互信息(MI)估计和最大化的新型零样本骨架动作识别方法。具体而言,1)我们通过最大化视觉空间与语义空间之间的互信息来实现分布对齐;2)我们利用时间信息进行互信息估计,通过鼓励观察更多帧时互信息增加来实现这一目标。我们在三个大规模骨架动作数据集上进行了广泛的实验,验证了该方法的有效性。代码:https://github.com/YujieOuO/SMIE


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供