
摘要
现有的显著运动分割方法难以显式地学习几何线索,往往在显著的静态物体上产生误检。为此,我们利用多视角几何约束来克服上述缺陷。针对非刚性背景(如海面)的处理问题,我们进一步提出了一种鲁棒的运动特征与外观特征融合机制。我们发现,密集轨迹能够覆盖视频中的每一个像素,并据此提出基于轨迹的对极距离(trajectory-based epipolar distances),以有效区分前景与背景区域。该对极距离不依赖于具体数据,仅需少量图像间特征点的对应关系即可高效计算。实验表明,将对极距离与光流信息相结合,可训练出性能强大的运动特征网络。为使网络能够同时利用这两种特征,我们提出一种简单而有效的机制——输入丢弃(input-dropout)。相较于仅依赖运动信息的网络,我们在DAVIS-2016数据集上的平均交并比(mean IoU)指标超越此前最优方法达5.2%。通过采用输入丢弃机制,将我们的运动网络与外观网络进行鲁棒融合,我们在DAVIS-2016、DAVIS-2017以及SegTrackv2三个数据集上均取得了优于现有方法的性能表现。