基于自回归查询的时空Transformer自适应追踪

丰富的时空信息对于捕捉视觉跟踪中目标外观的复杂变化至关重要。然而，大多数表现优异的跟踪算法依赖大量手工设计的组件来聚合时空信息，导致时空信息尚未得到充分挖掘。为缓解这一问题，我们提出一种基于时空变换器的自适应跟踪器（命名为AQATrack），该方法采用简洁的自回归查询机制，无需依赖大量人工设计的组件，即可有效学习时空信息。首先，我们引入一组可学习的自回归查询，以滑动窗口的方式捕捉目标在瞬时状态下的外观变化。其次，设计了一种新颖的注意力机制，用于现有查询之间的交互，以生成当前帧的新查询。最后，基于初始目标模板和学习得到的自回归查询，构建了一个时空信息融合模块（STM），用于实现时空特征的聚合，从而精确定位目标物体。得益于STM模块，我们能够有效结合目标的静态外观特征与瞬时变化信息，从而引导鲁棒的跟踪过程。大量实验表明，所提方法在六个主流跟踪基准数据集（LaSOT、LaSOText、TrackingNet、GOT-10k、TNL2K和UAV123）上均显著提升了跟踪性能。