11 天前

基于图层次结构的短时与长时跟踪统一方法

Orcun Cetintas, Guillem Brasó, Laura Leal-Taixé
基于图层次结构的短时与长时跟踪统一方法
摘要

在长视频中高效追踪目标,意味着要解决一系列复杂问题,涵盖未被遮挡目标的短期关联,以及被遮挡后重新出现目标的长期关联。目前针对这两类任务的方法通常彼此分离,且针对特定场景设计,而表现最优的方案往往是多种技术的混合体,导致解决方案工程复杂、缺乏通用性。在本研究中,我们质疑了混合方法的必要性,提出SUSHI——一种统一且可扩展的多目标追踪框架。该方法通过将长视频片段分解为多层次的子片段,实现了高度可扩展性。我们利用图神经网络对这一层次结构的所有层级进行处理,使模型在不同时间尺度上保持统一性,具备极强的泛化能力。实验结果表明,SUSHI在四个不同数据集上均显著超越现有最先进方法。相关代码与模型已开源,可通过 bit.ly/sushi-mot 获取。