长尾学习与基础模型：重度微调有害

在基础模型出现之后，针对长尾学习任务的微调范式引起了广泛关注。然而，微调对长尾学习性能的影响尚未得到明确量化。本文揭示了，重度微调可能会导致尾部类别的性能显著下降，而轻度微调则更为有效。原因归结为重度微调引起的类别条件不一致。基于上述观察，我们开发了一种低复杂度且准确的长尾学习算法LIFT（Low-Complexity and Accurate Long-Tail Learning with Adaptive Lightweight Fine-Tuning），旨在通过自适应轻度微调实现快速预测和紧凑模型。实验结果清楚地验证了，与现有最先进方法相比，LIFT不仅显著减少了训练时间和学习参数的数量，还提高了预测准确性。该算法的实现代码可在https://github.com/shijxcs/LIFT 获取。