用于情境识别的循环模型

这项研究提出了循环神经网络（RNN）模型，用于预测结构化的“图像情境”——即与动作相关的动词和名词实体，这些名词实体在语义上扮演着与动作相关联的角色。与以往依赖条件随机场（CRFs）的工作不同，我们采用了一个专门的动作预测网络，随后再使用RNN进行名词预测。我们的系统在最近具有挑战性的imSitu数据集上取得了最先进的准确率，超过了基于CRF的模型，包括那些使用额外数据训练的模型。此外，我们还展示了从情境预测中学习到的专门特征可以迁移到图像描述任务中，以更准确地描述人与物体之间的互动。