摘要
尽管在活动分析方面已经取得了显著的成功，但仍面临许多挑战。现有的大多数活动识别研究更多关注于设计高效的架构或视频采样策略。然而，由于视频中细粒度动作和长期结构的特性，活动识别需要推断视频序列之间的时序关系。本文提出了一种高效的时序推理图（Temporal Reasoning Graph, TRG），能够在多个时间尺度上同时捕捉外观特征和视频序列之间的时序关系。具体而言，我们构建了可学习的时序关系图，以探索多尺度范围内的时序关系。此外，为了促进多尺度时序关系的提取，我们设计了一个多头时序邻接矩阵来表示多种类型的时序关系。最终，提出了一种多头时序关系聚合器，用于提取通过这些图卷积后的特征的语义意义。我们在广泛使用的大型数据集（如Something-Something和Charades）上进行了大量实验，结果表明我们的模型能够达到最先进的性能。进一步的分析显示，使用我们的TRG进行时序关系推理可以提取出对活动识别具有区分性的特征。