高效的区域记忆网络用于视频对象分割

最近，几种基于时空记忆的网络表明，过去帧中的物体线索（例如视频帧和分割的物体掩码）对于当前帧中物体的分割非常有用。然而，这些方法通过在当前帧和过去帧之间进行全局到全局的匹配来利用记忆中的信息，这导致了对相似物体的误匹配以及较高的计算复杂度。为了解决这些问题，我们提出了一种新的局部到局部匹配解决方案，用于半监督视频对象分割（VOS），即区域记忆网络（Regional Memory Network, RMNet）。在RMNet中，通过记住目标物体在过去帧中出现的局部区域来构建精确的区域记忆。对于当前查询帧，根据从前一帧估计出的光流来跟踪和预测查询区域。所提出的局部到局部匹配方法有效缓解了记忆帧和查询帧中相似物体的模糊性，使得信息能够从区域记忆高效且有效地传递到查询区域。实验结果表明，所提出的RMNet在DAVIS和YouTube-VOS数据集上表现优于现有最先进方法。