Jiahao Chen Zhiyuan Huang Yurou Liu Bing Su

摘要

长尾学习因其在现实场景中的广泛应用而受到越来越多的关注。在现有方法中，长尾半监督学习（Long-Tailed Semi-Supervised Learning, LTSSL）通过将大量未标注数据融入不平衡的标注数据集，成为一种有效的解决方案。然而，大多数先前的LTSSL方法均设计为从零开始训练模型，这往往导致模型过自信以及伪标签质量较低等问题。为应对这些挑战，我们首次将LTSSL拓展至基础模型微调范式，提出一种新型框架：LoFT（基于参数高效微调的长尾半监督学习）。我们证明，经过微调的基础模型能够生成更可靠的伪标签，从而显著提升不平衡学习的性能。此外，我们进一步探索了一种更贴近实际应用的设定——在开放世界条件下进行半监督学习，此时未标注数据中可能包含分布外（Out-of-Distribution, OOD）样本。为应对这一挑战，我们提出LoFT-OW（开放世界场景下的LoFT），以增强模型的判别能力。在多个基准数据集上的实验结果表明，与以往方法相比，我们的方法在仅使用1%的未标注数据的情况下，仍能取得更优的性能。