11 天前
NP-Match:当神经过程遇见半监督学习
Jianfeng Wang, Thomas Lukasiewicz, Daniela Massiceti, Xiaolin Hu, Vladimir Pavlovic, Alexandros Neophytou

摘要
近年来,半监督学习(Semi-Supervised Learning, SSL)受到了广泛关注,其核心思想是有效利用未标注数据以降低对标注数据的依赖。本文将神经过程(Neural Processes, NPs)适配至半监督图像分类任务,提出一种新方法——NP-Match。该方法适用于该任务主要基于以下两点原因:首先,NP-Match在进行预测时隐式地对数据点进行比较,使得每个未标注样本的预测结果受到与其相似的已标注样本的影响,从而提升伪标签的质量;其次,NP-Match能够有效估计预测不确定性,该不确定性可作为筛选具有可靠伪标签的未标注样本的工具。相较于采用蒙特卡洛(Monte Carlo, MC)丢弃法实现的基于不确定性的SSL方法,NP-Match在估计不确定性方面具有显著更低的计算开销,可在训练和测试阶段均大幅节省时间。我们在四个公开数据集上进行了大量实验,结果表明,NP-Match在多数情况下超越了当前最先进(State-of-the-Art, SOTA)方法,或取得了具有竞争力的性能表现,充分验证了NP-Match的有效性及其在半监督学习领域的巨大潜力。