摘要
长尾数据仍然是深度神经网络面临的一大挑战，尽管其在平衡数据上已取得显著成功。我们观察到，在长尾数据上使用交叉熵损失进行原始训练时，样本丰富的头部类别会严重挤压尾部类别的特征空间分布，导致尾部类别样本难以被准确分类。此外，原始交叉熵损失的梯度传播能力受限，因为当logit差异增大时，Softmax形式下的梯度会迅速趋近于零，这一现象被称为Softmax饱和。虽然Softmax饱和不利于平衡数据的训练，但在长尾数据中却可被有效利用，以调节样本的有效性，从而缓解长尾问题导致的嵌入空间失真。为此，本文提出了一种基于高斯扰动的类logit调整方法——高斯云化logit调整（Gaussian Clouded Logit Adjustment, GCLLoss）。该方法通过对不同类别的logit施加具有不同幅度的高斯扰动，实现对分类边界的有效调整。我们将扰动的幅度定义为“云大小”（cloud size），并为尾部类别设置相对较大的云大小。较大的云大小能够有效缓解Softmax饱和问题，从而提升尾部样本的激活程度，并扩展其在嵌入空间中的分布范围。为进一步缓解分类器中的偏差问题，本文还提出了基于类别的有效样本数采样策略（class-based effective number sampling），并结合分类器重训练机制，以增强模型对尾部类别的学习能力。在多个基准数据集上的大量实验验证了所提方法的优越性能。代码已开源，地址为：https://github.com/Keke921/GCLLoss。