学习具有质量感知的动态记忆用于视频对象分割

近日，一些基于时空记忆的方法已经验证了将中间帧及其掩码存储为记忆有助于在视频中分割目标对象。然而，这些方法主要集中在提高当前帧与记忆帧之间的匹配度，而没有明确关注记忆的质量。因此，分割掩码质量较差的帧容易被记住，导致分割掩码误差累积问题，进而影响分割性能。此外，随着帧数的增加，记忆帧的线性增长也限制了模型处理长视频的能力。为此，我们提出了一种质量感知动态记忆网络（Quality-aware Dynamic Memory Network, QDMN），用于评估每一帧的分割质量，使记忆库能够选择性地存储准确分割的帧以防止误差累积问题。随后，我们将分割质量和时间一致性结合起来，动态更新记忆库以提高模型的实际应用能力。我们的QDMN无需任何额外技巧，在DAVIS和YouTube-VOS基准测试中均取得了最新的最佳性能。此外，大量实验表明，所提出的质量评估模块（Quality Assessment Module, QAM）可以作为通用插件应用于基于记忆的方法，并显著提升性能。我们的源代码可在https://github.com/workforai/QDMN 获取。