17 天前

用于视频语义分割的局部与全局时间上下文学习

Guolei Sun, Yun Liu, Henghui Ding, Min Wu, Luc Van Gool
用于视频语义分割的局部与全局时间上下文学习
摘要

上下文信息在视频语义分割(Video Semantic Segmentation, VSS)中起着核心作用。本文从两个方面对VSS中的上下文进行了归纳:局部时序上下文(Local Temporal Context, LTC),即来自相邻帧的上下文信息;以及全局时序上下文(Global Temporal Context, GTC),即来自整个视频的上下文信息。其中,LTC进一步细分为静态上下文与运动上下文,分别对应相邻帧中的静态内容与运动内容。以往研究已分别探讨了静态与运动上下文,但尚无工作同时学习这两种高度互补的上下文信息。为此,本文提出一种粗粒度到细粒度特征挖掘(Coarse-to-Fine Feature Mining, CFFM)方法,用于学习LTC的统一表征。CFFM由两部分组成:粗粒度到细粒度特征融合(Coarse-to-Fine Feature Assembling, CFFA)与跨帧特征挖掘(Cross-frame Feature Mining, CFM)。CFFA用于抽象提取静态与运动上下文,而CFM则从邻近帧中挖掘有用信息,以增强目标区域的特征表示。为进一步挖掘更丰富的时序上下文信息,本文进一步提出CFFM++,通过从整个视频中学习GTC来增强模型表达能力。具体而言,首先对视频进行均匀采样,选取若干关键帧,并利用k-means聚类算法提取全局上下文原型。随后,通过CFM模块挖掘这些原型中的有效信息,用于进一步优化目标特征。在多个主流基准数据集上的实验结果表明,CFFM与CFFM++在性能上均优于当前最先进的方法。相关代码已开源,地址为:https://github.com/GuoleiSun/VSS-CFFM。

用于视频语义分割的局部与全局时间上下文学习 | 最新论文 | HyperAI超神经