边界内容图神经网络用于时间动作提案生成

时间动作提案生成在视频动作理解中发挥着重要作用，其关键在于精确定位高质量的动作内容。然而，生成具有精确边界和高质量动作内容的时间提案极具挑战性。为了解决这一问题，我们提出了一种新颖的边界内容图神经网络（BC-GNN），通过图神经网络建模时间提案的边界与动作内容之间的深刻关系。在BC-GNN中，时间提案的边界和内容分别作为图神经网络的节点和边进行处理，它们之间自发地建立联系。随后，我们提出了一种新的图计算操作来更新边和节点的特征。在此基础上，利用一个更新后的边及其连接的两个节点来预测边界概率和内容置信度得分，这些得分将被结合以生成最终的高质量提案。实验在两个主流数据集上进行：ActivityNet-1.3和THUMOS14。即使没有复杂的附加技术，BC-GNN在时间动作提案生成和时间动作检测任务上均优于以往的最先进方法。