我们研究了零样本视频对象分割（VOS）这一具有挑战性的问题。具体而言，即在没有任何手动初始化的情况下，完全自动地对视频中的多个移动对象进行分割和跟踪。我们将此问题视为一个分组问题，通过利用对象建议并同时在空间和时间上进行联合推理来解决。我们提出了一种网络架构，以有效地执行建议选择和联合分组。关键在于，我们展示了如何使用强化学习训练该网络，使其能够学习出最优的非短视的分组决策序列，从而完成整个视频的分割。与传统的监督方法不同，这种方法还使我们能够直接优化用于评估VOS的不可微重叠度量指标。实验结果表明，我们提出的名为ALBA的方法在三个基准数据集上均优于之前的最先进方法：DAVIS 2017 [2]、FBMS [20] 和 Youtube-VOS [27]。