11 天前

SUTrack:迈向简单而统一的单目标跟踪

Xin Chen, Ben Kang, Wanting Geng, Jiawen Zhu, Yi Liu, Dong Wang, Huchuan Lu
SUTrack:迈向简单而统一的单目标跟踪
摘要

本文提出了一种简单而统一的单目标跟踪(Single Object Tracking, SOT)框架,命名为SUTrack。该框架将五类SOT任务——基于RGB的跟踪、RGB-深度(RGB-Depth)跟踪、RGB-热成像(RGB-Thermal)跟踪、RGB-事件(RGB-Event)跟踪以及RGB-语言(RGB-Language)跟踪——整合为一个统一模型,并在单一训练会话中完成训练。由于各类数据模态的特性差异显著,现有方法通常针对每种任务设计独立的网络架构并分别训练专用模型,导致训练过程冗余、技术重复创新频发,且跨模态知识难以有效共享。相比之下,SUTrack证明了仅通过一个具备统一输入表示的模型,即可高效应对多种常见的SOT任务,从而无需为不同任务定制特定结构或进行独立训练。此外,我们引入了一种任务识别辅助训练策略以及软令牌类型嵌入(soft token type embedding),在几乎不增加计算开销的前提下进一步提升了SUTrack的性能表现。实验结果表明,SUTrack在涵盖五类SOT任务的11个数据集上均显著优于以往针对特定任务设计的模型。同时,我们提供了适配边缘设备与高性能GPU的多种模型版本,在推理速度与跟踪精度之间实现了良好的平衡。我们期望SUTrack能够成为未来统一跟踪模型研究的重要基础。代码与模型已开源,详见GitHub:github.com/chenxin-dlut/SUTrack。

SUTrack:迈向简单而统一的单目标跟踪 | 最新论文 | HyperAI超神经