
摘要
近年来,视频语义分割研究日益活跃,这得益于图像语义分割技术的显著进展。然而,在实际应用中,对每一帧独立进行图像分割由于计算成本过高而难以接受。为解决这一问题,许多方法采用基于光流的特征传播机制,以复用前一帧的特征。然而,光流估计不可避免地存在误差,导致传播的特征发生畸变,进而影响分割性能。针对这一问题,本文提出了一种畸变感知的特征校正方法,通过修正畸变的传播特征,有效提升了视频语义分割的精度。具体而言,我们首先提出将特征空间中的畸变模式迁移至图像空间,并实现高效的畸变图预测。在此基础上,利用畸变图的引导,设计了特征校正模块(Feature Correction Module, FCM),对发生畸变区域的传播特征进行精准修正。所提方法在仅引入极低额外计算开销的前提下,显著提升了视频语义分割的准确性。在Cityscapes和CamVid两个主流数据集上的大量实验结果表明,本方法优于当前最先进的技术水平。