人体-物体交互（Human-Object Interaction, HOI）检测任务中一个常见问题是：大量HOI类别仅拥有少量标注样本，导致训练数据呈现长尾分布。正样本的匮乏往往造成这些类别分类准确率较低。针对这一问题，我们观察到人体-物体交互之间存在天然的相关性与反相关性。本文中，我们通过构建动作共现矩阵来建模这些相关性，并提出相应的技术以学习此类先验知识，进而将其用于提升训练效果，尤其在稀有类别上表现更为显著。实验结果表明，所提方法在两个主流HOI检测基准数据集——HICO-Det和V-COCO上均超越了现有最先进方法，验证了该策略的有效性。