自然语言对象检索

在本文中，我们探讨了自然语言对象检索任务，即根据对象的自然语言查询，在给定图像中定位目标对象。自然语言对象检索与基于文本的图像检索任务不同，因为它涉及场景中对象的空间信息以及全局场景上下文。为了解决这一问题，我们提出了一种新颖的时空上下文递归卷积网络（Spatial Context Recurrent ConvNet, SCRC）模型作为候选框的对象检索评分函数，将空间配置和全局场景级上下文信息整合到网络中。我们的模型通过递归网络处理查询文本、局部图像描述符、空间配置和全局上下文特征，输出每个候选框在给定查询文本条件下的概率作为该框的得分，并且可以从图像描述领域迁移视觉-语言知识到我们的任务中。实验结果表明，我们的方法有效利用了局部和全局信息，在不同的数据集和场景下显著优于先前的基准方法，并且能够利用大规模视觉和语言数据集进行知识迁移。