FlexMatch：通过课程伪标签提升半监督学习

近期提出的FixMatch在多数半监督学习（SSL）基准测试中取得了最先进性能。然而，与其他现代SSL算法类似，FixMatch采用对所有类别均固定的常数阈值来筛选参与训练的无标签数据，未能考虑不同类别在学习过程中所处的不同状态及学习难度的差异。为解决这一问题，我们提出课程伪标签（Curriculum Pseudo Labeling, CPL），一种基于模型当前学习状态动态利用无标签数据的课程学习方法。CPL的核心思想是在每个训练时间步灵活调整不同类别的阈值，从而允许具有信息量的无标签数据及其伪标签通过，以促进模型学习。CPL无需引入额外参数，也不增加前向或反向传播的计算开销。我们将CPL应用于FixMatch，提出改进后的算法FlexMatch。FlexMatch在多种SSL基准测试中均达到最先进水平，尤其在标注数据极度稀缺或任务具有挑战性的情况下表现尤为突出。例如，在CIFAR-100和STL-10数据集上，当每类仅有4个标注样本时，FlexMatch相比FixMatch分别实现了13.96%和18.96%的错误率降低。此外，CPL显著提升了模型的收敛速度：FlexMatch仅需FixMatch约1/5的训练时间，即可达到甚至超越其性能。进一步实验表明，CPL可轻松适配至其他主流SSL算法，并显著提升其性能。相关代码已开源，地址为：https://github.com/TorchSSL/TorchSSL。