HyperAIHyperAI

Command Palette

Search for a command to run...

LoReTrack:高效且准确的低分辨率Transformer跟踪

Shaohua Dong Yunhe Feng Qing Yang Yuewei Lin Heng Fan

摘要

高性能Transformer跟踪器已经展示了出色的结果,但它们通常伴随着沉重的计算负担。观察到较小的输入可以立即且方便地减少计算量而不改变模型,一个简单的解决方案是采用低分辨率输入以实现高效的Transformer跟踪。尽管这种方法速度更快,但由于低分辨率跟踪中的信息损失,其跟踪精度会受到较大影响。在本文中,我们旨在通过从冻结的高分辨率(而非更大规模)Transformer跟踪器进行双重知识蒸馏来减轻这种信息损失,从而提升低分辨率Transformer跟踪的性能。核心在于两个简单而有效的蒸馏模块:跨分辨率的查询-键-值知识蒸馏(QKV-KD)和判别知识蒸馏(Disc-KD)。前者从全局视角出发,使低分辨率跟踪器继承高分辨率跟踪器的特征和交互;后者则从目标感知视角出发,通过模仿高分辨率跟踪器中的判别区域来增强目标与背景的区分能力。借助双重知识蒸馏,我们的低分辨率Transformer跟踪器(LoReTrack)不仅因计算量减少而具有高效性,还通过从高分辨率跟踪器中提取知识提升了精度。在广泛的实验中,分辨率为256x256的LoReTrack在相同分辨率下持续改进基线,并显示出与384x384高分辨率Transformer跟踪器相当甚至更好的结果,同时运行速度提高了52%,并节省了56%的MACs。此外,LoReTrack具有可扩展性。当分辨率为128x128时,它在CPU上可以达到25帧每秒,在LaSOT/LaSOText数据集上的SUC得分分别为64.9%和46.4%,超过了所有其他CPU实时跟踪器。代码将公开发布。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供