16 天前

挖掘两阶段与单阶段HOI检测的优势

Aixi Zhang, Yue Liao, Si Liu, Miao Lu, Yongliang Wang, Chen Gao, Xiaobo Li
挖掘两阶段与单阶段HOI检测的优势
摘要

多年来,两阶段方法在人体-物体交互(Human-Object Interaction, HOI)检测领域占据主导地位。近年来,单阶段HOI检测方法逐渐兴起并受到广泛关注。本文旨在深入探讨两阶段与单阶段方法的本质优劣。基于这一目标,我们发现传统两阶段方法主要面临的问题在于准确定位具有交互关系的人体-物体配对,而单阶段方法则难以在多任务学习(包括目标检测与交互分类)之间实现恰当的权衡。因此,一个核心问题是如何汲取两类方法的精华,摒弃其不足之处。为解决这一问题,我们提出一种新型的单阶段框架,采用级联(cascade)方式解耦人体-物体检测与交互分类任务。具体而言,我们首先基于先进的单阶段HOI检测器,通过移除其交互分类模块(head),设计一个高效的人体-物体配对生成器;随后,构建一个相对独立的交互分类器,用于对生成的每一对人体-物体进行分类。在所提出的框架中,两个级联解码器分别专注于单一任务——检测或交互分类,从而提升各任务的性能表现。在实现层面,我们采用基于Transformer的HOI检测器作为基础模型。所提出的解耦范式在HICO-Det数据集上取得了显著提升,相对mAP提升高达9.32%,大幅超越现有方法。相关源代码已开源,地址为:https://github.com/YueLiao/CDN。