基于HOI Transformer的端到端人-物体交互检测

我们提出 HOI Transformer，以端到端的方式解决人体-物体交互（HOI）检测任务。现有方法通常将 HOI 任务分解为物体检测与交互分类两个独立阶段，或引入代理的交互问题。相比之下，我们的方法——HOI Transformer——通过消除大量人工设计的组件，显著简化了 HOI 检测流程。HOI Transformer 基于全局图像上下文对人与物体之间的关系进行推理，并并行地直接预测 HOI 实例。为此，我们引入了一种五元组匹配损失（quintuple matching loss），以统一的方式约束 HOI 预测。该方法在概念上更为简洁，同时表现出更高的检测精度。在不依赖复杂技巧的前提下，HOI Transformer 在 HICO-DET 数据集上达到 26.61% 的 AP，在 V-COCO 数据集上达到 52.9% 的 AP$_{\text{role}}$，显著优于以往方法，且具有显著更简化的结构。我们期望本方法能为 HOI 任务提供一种简洁而高效的替代方案。代码已开源，地址为：https://github.com/bbepoch/HoiTransformer。