NOVIS：端到端近在线视频实例分割的研究案例

直到最近，视频实例分割（VIS）社区普遍认为离线方法通常优于逐帧在线处理。然而，近期在线方法的成功对这一观点提出了质疑，尤其是在处理具有挑战性和较长的视频序列时。我们视这项工作为对这些最新观察结果的反驳，并呼吁社区关注专门的近在线VIS方法。为了支持我们的论点，我们展示了不同处理范式的详细分析以及新的端到端可训练的NOVIS（近在线视频实例分割）方法。我们的基于变压器的模型直接预测了帧片段的空间-时间掩码体积，并通过重叠嵌入在片段之间进行实例跟踪。NOVIS是首个避免任何手工设计跟踪启发式算法的近在线VIS方法。我们在现有所有VIS方法中大幅领先，并在YouTube-VIS（2019/2021）和OVIS基准测试中提供了最新的最佳结果。