ELF：一种面向长尾分类的早期退出框架

自然界中的数据分布通常呈现长尾特征，即少数类别占据了绝大多数样本。这种长尾分布导致分类器对多数类过度拟合。为缓解这一问题，以往的方法普遍采用类别平衡策略，如数据重采样和损失函数重设计。然而，这些方法通常将同一类别内的所有样本视为同等重要，忽略了“样本难易度”这一关键概念——即在每个类别内部，部分样本更容易分类，而另一些则更具挑战性。为将样本难易度纳入学习过程，我们提出一种名为早退出框架（EarLy-exiting Framework, ELF）的新方法。在训练阶段，ELF通过在主干网络上附加辅助分支，学习对简单样本进行早退出。该机制带来双重优势：（1）神经网络逐渐将注意力集中于难样本，因为它们对整体网络损失的贡献更大；（2）模型释放出额外的容量，用于更好地区分困难样本。在两个大规模数据集ImageNet LT和iNaturalist'18上的实验结果表明，ELF可将现有最先进方法的准确率提升超过3个百分点。此外，该方法还能将推理阶段的计算量（FLOPS）降低高达20%。ELF与已有方法具有良好的互补性，能够自然地与多种现有技术结合，有效应对长尾分布带来的挑战。