摘要
在这项工作中，我们提出了一种基于胶囊网络的方法用于半监督视频对象分割。当前的视频对象分割方法通常是基于帧的，并且经常需要光流来捕捉帧间的时间一致性，这在计算上可能较为困难。为此，我们提出了一个基于视频的胶囊网络——CapsuleVOS，该网络可以在给定参考帧及其分割掩码的条件下同时对多个帧进行分割。这种条件化通过一种新的注意力机制驱动的高效胶囊选择路由算法实现。我们解决了视频对象分割中的两个挑战性问题：1）小对象的分割；2）时间上的对象遮挡。针对小对象的分割问题，我们引入了一个缩放模块，使网络能够处理视频中的小空间区域。此外，该框架还利用了一种基于递归神经网络的新记忆模块，有助于在对象移出画面或被遮挡时进行跟踪。网络采用端到端的方式进行训练，并在两个基准视频对象分割数据集上展示了其有效性；它在Youtube-VOS数据集上的表现优于现有的离线方法，同时运行时间几乎是竞争方法的两倍快。代码已公开发布在 https://github.com/KevinDuarte/CapsuleVOS。