基于图神经网络的情境识别

我们研究了图像中情境识别的问题。给定一张图像，任务是预测最显著的动词（即动作），并填充其语义角色，例如谁在执行该动作、动作的来源和目标是什么等。不同的动词具有不同的角色（例如，“攻击”有“武器”），每个角色可以有许多可能的值（名词）。我们提出了一种基于图神经网络的模型，该模型允许我们通过定义在图上的神经网络高效地捕捉角色之间的联合依赖关系。不同图连通性的实验表明，我们的方法在传播角色间信息方面显著优于现有工作及多种基线方法。我们在预测完整情境时相比以往的工作大约提高了3-5%。此外，我们还对模型进行了详尽的定性分析，并探讨了不同角色对动词的影响。