长尾视觉识别中的平衡元Softmax

深度分类模型在视觉识别任务中取得了显著成功。然而，现实世界中的数据天然具有长尾分布特性，导致训练数据与测试数据之间的分布不匹配。本文指出，在长尾分布设定下，尽管Softmax函数广泛应用于各类分类任务，但其会带来有偏的梯度估计。为此，本文提出Balanced Softmax，这是一种优雅且无偏的Softmax扩展方法，能够有效适应训练与测试阶段标签分布的偏移。理论上，我们推导了多类Softmax回归的一般化误差界，并证明所提出的损失函数能够最小化该误差界。此外，本文进一步引入Balanced Meta-Softmax，通过引入互补的Meta采样器来估计最优类别采样率，从而进一步提升长尾学习的性能。实验结果表明，Balanced Meta-Softmax在视觉识别与实例分割任务上均显著优于当前最先进的长尾分类方法。