2 个月前

学习注意力:用于高性能在线视觉追踪的残差注意力孪生网络

{Junliang Xing, Zhu Teng, Jin Gao, Stephen Maybank, Weiming Hu, Qiang Wang}
学习注意力:用于高性能在线视觉追踪的残差注意力孪生网络
摘要

离线训练在目标跟踪领域近年来展现出在跟踪精度与速度之间取得良好平衡的巨大潜力。然而,如何将离线训练得到的模型有效适应于在线目标跟踪任务,仍是当前面临的难题。本文提出了一种残差注意力孪生网络(Residual Attentional Siamese Network, RASNet),以实现高性能的目标跟踪。RASNet在孪生网络框架下重新构建了相关滤波机制,并引入多种注意力机制,使模型能够在不进行在线参数更新的前提下实现自适应调整。具体而言,通过融合离线训练获得的通用注意力、针对目标的残差注意力以及通道偏好特征注意力,RASNet不仅有效缓解了深度网络训练中的过拟合问题,还因分离表示学习与判别学习过程而显著提升了模型的判别能力与适应性。所提出的深度网络架构采用端到端方式训练,充分挖掘了丰富的时空信息,从而实现鲁棒的视觉跟踪。在最新两个基准数据集OTB-2015和VOT2017上的实验结果表明,RASNet在保持超过80帧/秒的实时运行速度的同时,达到了当前最优的跟踪精度水平。