基于跨个体线索的主体-部位交互性学习在HOI检测中的应用

人体-物体交互（Human-Object Interaction, HOI）检测在行为理解中起着至关重要的作用。尽管近年来取得了显著进展，但交互性学习仍是HOI检测中的一个关键挑战：现有方法通常会产生大量冗余的负样本人体-物体对候选框，且难以有效识别具有实际交互关系的配对。虽然交互性已在整体身体层级和局部肢体层级得到研究，并有助于提升人体-物体配对的准确性，但以往工作大多仅从单一目标人物的局部视角出发，忽视了图像中其他人物所蕴含的信息。本文提出，通过同时比较多个人体的肢体部位，能够提供更为丰富且互补的交互性线索。具体而言，我们主张从全局视角学习肢体部位的交互性：在判断某一目标人物肢体部位的交互性时，不仅考虑该人物自身的视觉线索，还融合图像中其他人物提供的上下文信息。为此，我们基于自注意力机制构建了肢体部位显著性图，以挖掘跨人物间的有效信息，并学习所有肢体部位之间的整体关联关系。我们在广泛使用的基准数据集HICO-DET和V-COCO上对所提方法进行了评估，实验结果表明，借助这一新的全局-局部协同的肢体部位交互性学习框架，方法在性能上显著超越了当前最先进的技术水平。相关代码已开源，地址为：https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness。