17 天前

基于Siamese网络的强化学习目标跟踪

{J. H. Baek, S. J. Hwang, S. J. Park}
摘要

目标跟踪是一种在视频序列中持续追踪特定目标的技术,通过观察目标的特征或其变化来实现。近年来,随着孪生网络(Siamese network)在目标跟踪领域的应用,涌现出一系列性能优异的算法。孪生网络旨在学习两幅图像之间的相似性。在目标跟踪任务中,该网络通过在搜索图像中寻找与目标模板图像最相似的位置来实现目标定位。然而,基于孪生网络的跟踪算法对目标的部分遮挡或完全遮挡较为敏感。此外,由于跟踪过程仅依赖于首帧真实标注框(ground-truth bounding box)所获取的图像相似性,一旦目标在某帧丢失,误差将不断累积,导致目标发生漂移,频繁偏离实际目标位置。为此,本文提出一种基于强化学习的目标跟踪模型,旨在最大化在目标经历部分或完全遮挡后的跟踪成功奖励。同时,提出一种动态模板替换机制,利用最近成功跟踪到的模板帧更新当前模板,以有效缓解目标漂移问题。将所提模型应用于现有主流跟踪算法,并在代表性目标跟踪基准测试集VOT2018和OTB50上进行定量评估,结果表明,该方法显著提升了跟踪精度,同时减少了跟踪失败次数。实验结果显示,在VOT2018基准上,模型达到精度(Accuracy)0.618、鲁棒性(Robustness)0.234以及期望平均重叠率(Expected Average Overlap, EAO)0.416;在OTB50基准上,成功率(Success Rate)达到0.673,精度(Precision)达到0.881。