对比正则化在半监督学习中的应用

一致性正则化在半监督学习中已成为一项基础性技术，但其仍需大量训练迭代才能达到高性能。本研究分析发现，由于在模型更新过程中排除了置信度较低的伪标签样本，一致性正则化会限制标签信息的传播。为此，我们提出了一种对比正则化方法，通过利用未标记数据特征的良好聚类特性，有效提升了该方法的效率与精度。具体而言，在强增强样本根据其伪标签被分配至不同聚类后，我们的对比正则化机制引导模型更新，使具有高置信度伪标签的特征向量向同簇内的其他特征聚集，同时远离不同簇中的特征。这一过程使得高置信度伪标签所蕴含的信息能够通过结构良好的聚类特征更有效地传播至更多未标记样本。在多个半监督学习基准任务上，所提出的对比正则化方法显著优于以往基于一致性的方法，并在较少训练迭代次数下实现了当前最优性能。此外，该方法在开放集半监督学习场景下也表现出良好的鲁棒性，能够有效应对未标记数据中包含分布外样本的情况。