近年来，基于Transformer的跟踪器取得了令人印象深刻的进展，其中注意力机制发挥了重要作用。然而，注意力机制中的独立相关性计算可能导致注意力权重出现噪声和模糊，从而限制了性能的进一步提升。为了解决这一问题，我们提出了一种注意力中的注意力（Attention in Attention, AiA）模块，该模块通过在所有相关向量中寻求共识来增强正确的相关性并抑制错误的相关性。我们的AiA模块可以方便地应用于自注意力块和交叉注意力块，以促进视觉跟踪中的特征聚合和信息传播。此外，我们提出了一种简化的Transformer跟踪框架，称为AiATrack，通过引入高效的特征重用和目标背景嵌入来充分利用时间参考。实验结果表明，我们的跟踪器在六个跟踪基准上实现了最先进的性能，并且能够实时运行。