SeqFormer：用于视频实例分割的序列化Transformer

在本工作中，我们提出了SeqFormer用于视频实例分割。SeqFormer遵循视觉Transformer的基本原则，通过建模视频帧之间的实例关系来实现分割。然而，我们观察到，仅使用独立的实例查询即可有效捕捉视频中实例的时间序列特征，而注意力机制应针对每一帧独立进行。为实现这一目标，SeqFormer在每一帧中定位实例，并聚合时间信息以学习视频级别实例的强表示，进而动态预测每一帧上的掩码序列。该方法自然地实现了实例跟踪，无需额外的跟踪分支或后处理步骤。在YouTube-VIS数据集上，SeqFormer在使用ResNet-50主干网络时达到47.4 AP，在使用ResNet-101主干网络时达到49.0 AP，且未采用任何额外技巧（bells and whistles）。这一性能分别显著超越此前最先进方法4.6和4.4 AP。此外，当与近期提出的Swin Transformer结合时，SeqFormer进一步提升至59.3 AP的优异表现。我们期望SeqFormer能够成为视频实例分割领域的一个强大基准，推动未来研究的发展，同时以更鲁棒、更准确、更简洁的模型架构推动该领域的进步。代码已开源，地址为：https://github.com/wjf5203/SeqFormer。