HyperAI
Command Palette
Search for a command to run...
多模态跟踪的提示
多模态跟踪的提示
Jinyu Yang Zhe Li Feng Zheng* Aleš Leonardis Jingkuan Song
摘要
多模态跟踪因其在复杂场景中相比传统基于RGB的跟踪方法具有更高的准确性和鲁棒性而受到关注。其关键在于如何融合多模态数据并减少不同模态之间的差异。然而,由于数据不足的问题,多模态跟踪仍然严重受限,导致融合模块的学习不够充分。本文提出了一种新的视角来处理多模态跟踪问题,即重视多模态视觉提示的作用。我们设计了一种新颖的多模态提示跟踪器(ProTrack),该跟踪器通过提示范式将多模态输入转换为单一模态。通过充分利用大规模预训练RGB跟踪器的跟踪能力,我们的ProTrack仅需改变输入即可实现高性能的多模态跟踪,无需对多模态数据进行额外训练。在5个基准数据集上的广泛实验验证了所提出的ProTrack的有效性。