HyperAIHyperAI

Command Palette

Search for a command to run...

可迁移的交互性知识用于人-物体交互检测

Yong-Lu Li Xinpeng Liu Xiaoqian Wu Xijie Huang Liang Xu Cewu Lu

摘要

人体-物体交互(Human-Object Interaction, HOI)检测是理解人类与物体之间交互行为的重要任务。本文探索了“交互性知识”——即判断人与物体之间是否发生交互的能力。我们发现,交互性知识可以在多个HOI数据集之间进行迁移学习,从而弥合不同HOI类别设置之间的差距。本文的核心思想是构建一个交互性网络(Interactiveness Network),从多个HOI数据集中学习通用的交互性知识,并在推理阶段进行HOI分类前执行非交互抑制(Non-Interaction Suppression, NIS)。由于交互性知识具有良好的泛化能力,该网络可作为可迁移的知识学习器,与任意HOI检测模型协同工作,实现优异性能。我们结合人体实例特征与身体部位特征,采用分层范式学习交互性,即在实例级别和身体部位级别分别建模交互性。随后,提出一致性任务(consistency task)以引导模型学习,进一步挖掘深层的交互视觉线索。我们在HICO-DET、V-COCO以及新构建的PaStaNet-HOI数据集上进行了广泛实验。实验结果表明,引入所学习的交互性知识后,本方法在多个基准上均超越现有最先进方法,验证了其有效性与灵活性。代码已开源,地址为:https://github.com/DirtyHarryLYL/Transferable-Interactiveness-Network


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供