11 天前

边界感知的级联网络用于时间动作分割

{Li-Min Wang, Gangshan Wu, Ziteng Gao, Zhifeng Li, Zhenzhi Wang}
边界感知的级联网络用于时间动作分割
摘要

在未修剪视频中识别人类动作片段仍面临边界模糊和过度分割等挑战。为解决这些问题,本文提出一种新型的边界感知级联网络,引入两个创新组件。首先,我们设计了一种新的级联范式——阶段级联(Stage Cascade),使模型能够具备自适应的感受野,从而对边界模糊的帧做出更具置信度的预测。其次,我们提出一种通用且具有理论依据的平滑操作——局部障碍池化(local barrier pooling),通过利用语义边界信息来聚合局部预测结果。此外,这两个组件可实现端到端的联合微调。我们在三个具有挑战性的数据集(50Salads、GTEA 和 Breakfast)上进行了实验,结果表明,所提出的框架显著优于当前最先进的方法。代码已开源,地址为:https://github.com/MCG-NJU/BCN。

边界感知的级联网络用于时间动作分割 | 最新论文 | HyperAI超神经