2 个月前
UVid-Net:通过嵌入时间信息增强无人机航拍视频的语义分割
S, Girisha ; Verma, Ujjwal ; M, Manohara Pai M ; Pai, Radhika

摘要
空中视频的语义分割在监测环境变化、城市规划和灾害管理中的决策支持方面得到了广泛应用。这些决策支持系统的可靠性取决于视频语义分割算法的准确性。现有的基于卷积神经网络(CNN)的视频语义分割方法通过引入额外模块如长短期记忆网络(LSTM)或光流来计算视频的时间动态,从而提高了图像语义分割方法的效果,但这也带来了计算开销。本研究工作通过对CNN架构进行改进,融入时间信息,以提高视频语义分割的效率。在本研究中,提出了一种增强型编码器-解码器结构的CNN架构(UVid-Net),用于无人机视频的语义分割。该架构的编码器嵌入了时间信息,以实现时间上的一致性标注。解码器通过引入特征精炼模块得到了增强,有助于类标签的精确定位。所提出的UVid-Net架构在扩展后的ManipalUAVid数据集上进行了定量评估,其性能指标mIoU达到了0.79,显著高于其他最先进的算法。此外,即使对UVid-Net预训练模型在城市街道场景下进行微调最终层时,所提出的方法也产生了令人鼓舞的结果。