HyperAIHyperAI

Command Palette

Search for a command to run...

用于RGBT跟踪的对偶门控互条件网络

Andong Lu; Cun Qian; Chenglong Li; Jin Tang; Liang Wang

摘要

低质量模态不仅包含大量噪声信息,还包含一些在RGBT跟踪中具有判别性的特征。然而,现有的RGBT跟踪算法尚未充分挖掘低质量模态的潜力。在这项工作中,我们提出了一种新颖的双门控互条件网络,旨在充分利用所有模态中的判别信息,同时抑制数据噪声的影响。具体而言,我们设计了一个互条件模块,该模块以一个模态中的判别信息作为条件来指导另一个模态中目标外观的特征学习。即使在存在低质量模态的情况下,这种模块也能有效增强所有模态的目标表示。为了进一步提高条件的质量并减少数据噪声,我们提出了一个双门控机制,并将其集成到互条件模块中。为了解决由突然摄像机运动引起的跟踪失败问题(这在RGBT跟踪中经常发生),我们基于光流算法设计了一种重采样策略。由于仅在模型预测不可靠时进行光流计算,并在检测到突然摄像机运动时执行重采样,因此该策略不会显著增加计算成本。我们在四个RGBT跟踪基准数据集上进行了广泛的实验,结果表明我们的方法在性能上优于当前最先进的跟踪算法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供