利用上下文线索检测上下文无关的物体

本文提出了一种检测图像中上下文无关（Out-of-Context, OOC）物体的方法。给定一张包含多个物体的图像，我们的目标是判断其中是否存在与场景上下文不一致的物体，并通过边界框准确检测出这些OOC物体。在本研究中，我们考虑了常见的上下文关系，包括物体间的共现关系、物体相对于其他物体的相对尺寸，以及物体在场景中的空间位置关系。我们假设：对于处于合理上下文中的物体，其上下文线索有助于正确识别其类别标签；而当上下文线索不一致时，将对OOC物体的类别判断产生干扰。为验证这一假设，我们提出了一种图上下文推理网络（Graph Contextual Reasoning Network, GCRN），用于检测OOC物体。GCRN由两个独立的图结构组成，基于图像中的上下文线索对物体类别进行预测：1）表示图（Representation Graph）用于根据邻近物体学习物体的特征表示；2）上下文图（Context Graph）则显式地从邻近物体中捕捉上下文线索。通过显式建模上下文关系，GCRN能够有效提升对合理上下文物体的检测性能，同时识别违反上下文规律的异常物体。为评估所提方法，我们构建了一个大规模数据集，通过在COCO图像中添加OOC物体实例生成。此外，我们还在近期的OCD基准数据集上进行了实验评估。实验结果表明，GCRN在检测OOC物体以及正确识别上下文一致物体方面，均显著优于现有主流基线方法。