摘要
注意力机制在细粒度视觉识别任务中展现出了巨大的潜力。本文提出了一种基于因果推理的反事实注意力学习方法，以学习更为有效的注意力机制。与大多数现有方法通过传统似然性来学习视觉注意力不同，我们建议利用反事实因果关系来学习注意力，这不仅提供了一种衡量注意力质量的工具，还为指导学习过程提供了强大的监督信号。具体而言，我们通过反事实干预分析所学视觉注意力对网络预测的影响，并最大化该影响，以鼓励网络在细粒度图像识别中学习更有用的注意力。实验结果表明，我们在一系列细粒度识别任务上评估了该方法，这些任务中注意力起着关键作用，包括细粒度图像分类、行人重识别和车辆重识别。所有基准测试的一致改进证明了我们方法的有效性。代码可在 https://github.com/raoyongming/CAL 获取。