摘要
在真实开放世界中，数据通常呈现长尾类别分布，这促使了长期受到关注的长尾识别（Long-Tailed Recognition, LTR）问题的研究。传统的训练方法会导致模型在常见类别上表现出更高的准确率，从而产生对常见类别的偏差。解决LTR问题的关键在于平衡数据分布、训练损失以及梯度更新等多个方面。本文探索了一条正交方向——权重平衡，其动机源于一个经验观察：在朴素训练下，模型分类器对常见类别的权重在范数上“人为地”更大（因为这些类别有充足的数据可供训练，而稀有类别则不然）。我们系统研究了三种实现权重平衡的技术：L2归一化、权重衰减（weight decay）和MaxNorm约束。首先，我们指出L2归一化能够“完美”地将每类权重的范数统一为单位范数，但这种硬性约束可能限制了类别学习更优分类器的能力。相比之下，权重衰减对较大权重施加更强的惩罚，从而促使模型学习到更小且更均衡的权重；而MaxNorm约束则允许在范数球内增长较小的权重，同时以半径为上限对所有权重进行截断。我们的大量实验表明，上述两种方法均能有效促进权重的均衡化，并显著提升LTR的识别准确率。令人意外的是，尽管权重衰减在LTR领域此前研究较少，但其性能显著优于已有方法。因此，我们提出一种两阶段训练范式，并设计了一种简洁高效的LTR方法：（1）使用交叉熵损失训练特征提取器，通过调节权重衰减来优化；（2）使用类别平衡损失训练分类器，同时调节权重衰减与MaxNorm参数。该方法在五个标准基准数据集上均取得了当前最优的识别性能，有望成为未来长尾识别研究的基准方法。