
摘要
近年来,动作分割作为构建自动系统以理解未剪辑视频的一个重要里程碑,受到了广泛关注。尽管通常将其建模为序列标注问题,但与文本解析或语音处理相比,动作分割具有内在且显著的区别。在本文中,我们介绍了一种新颖的混合时间卷积和递归网络(TricorNet),该网络采用了编码器-解码器架构:编码器由多层时间卷积核组成,能够捕捉不同动作的局部运动变化;解码器则由多层递归神经网络构成,在编码阶段之后能够学习并记忆长期的动作依赖关系。我们的模型虽然简单,但在视频序列标注方面表现出极高的有效性。在三个公开的动作分割数据集上的实验结果表明,所提出的模型在性能上优于现有最佳方法。