摘要
目标：半监督视频对象分割旨在给定第一帧中的对象标注后，对后续帧中的目标对象进行分割。现有算法大多基于匹配与传播策略，通常依赖前一帧的掩码或光流信息。本文提出一种新的传播方法，利用短期匹配模块提取前一帧的信息并应用于传播过程，提出了一种用于视频对象分割的长短时相似性匹配网络（LSMOVS）。方法：通过长短期匹配模块分别与第一帧和前一帧进行像素级匹配与相关性计算，分别获得全局相似性图与局部相似性图，同时获取当前帧的特征模式及前一帧的掩码信息。随后通过两个精炼网络对特征进行优化，最终由分割网络输出分割结果。结果：在DAVIS 2016和2017两个数据集上的实验表明，该方法在无需在线微调的情况下，取得了优异的区域相似性与轮廓准确率，单目标分割的平均得分分别达到86.5%，多目标分割达到77.4%。此外，该方法每秒可处理21帧，具有较高的运行效率。结论：本文提出的短期匹配模块相较于仅依赖掩码的方式，更有利于有效提取前一帧的信息。通过将长短期匹配模块相结合，所提出的网络能够在无需在线微调的前提下，实现高效且准确的视频对象分割。