17 天前

拉普拉斯正则化小样本学习

Imtiaz Masud Ziko, Jose Dolz, Eric Granger, Ismail Ben Ayed
拉普拉斯正则化小样本学习
摘要

我们提出了一种用于少样本学习任务的归纳式拉普拉斯正则化推理方法。给定从基础类别中学习得到的任意特征嵌入,我们最小化一个包含两项的二次二值分配函数:(1)一元项将查询样本分配至最近的类别原型;(2)成对拉普拉斯项,促使空间上相近的查询样本获得一致的标签分配。该归纳式推理方法无需重新训练基础模型,可被视作在支持集监督约束下对查询集进行图聚类。我们推导出该函数松弛形式的一个计算高效的边界优化器,该优化器能够对每个查询样本独立(并行)地进行更新,同时保证收敛性。在基础类别上仅采用简单的交叉熵训练,且无需复杂的元学习策略,我们在五个少样本学习基准数据集上进行了全面实验。结果表明,所提出的LaplacianShot方法在不同模型、设置和数据集上均显著优于当前最先进的方法。此外,该归纳式推理方法计算效率极高,运行时间接近于归纳式推理,适用于大规模少样本学习任务。