13 天前

粗粒度到细粒度的多分辨率时序卷积网络

Dipika Singhania, Rahul Rahaman, Angela Yao
粗粒度到细粒度的多分辨率时序卷积网络
摘要

时间卷积网络(Temporal Convolutional Networks, TCNs)是时间视频分割任务中广泛采用的一种架构。然而,TCNs 通常容易产生过度分割错误,且需要额外的精炼模块来保证结果的平滑性与时间一致性。本文提出一种新颖的时间编码器-解码器结构,以解决序列碎片化问题。具体而言,该解码器采用从粗到细的层级结构,并隐式地集成多种时间分辨率。通过这种多分辨率集成机制,生成的分割结果更加平滑、准确且校准更优,从而无需依赖额外的精炼模块。此外,我们引入一种多分辨率特征增强策略以提升模型对不同时间分辨率的鲁棒性。最后,为支持所提出的架构并进一步增强序列一致性,我们设计了一种动作级损失函数,用于惩罚视频级别的分类错误。实验结果表明,仅凭本研究所提出的独立架构,结合新颖的特征增强策略与新型损失函数,已在三个时间视频分割基准上超越现有最先进方法。

粗粒度到细粒度的多分辨率时序卷积网络 | 最新论文 | HyperAI超神经