17 天前

拉普拉斯正则化小样本学习

{Imtiaz Masud Ziko; Jose Dolz; Eric Granger; Ismail Ben Ayed}
拉普拉斯正则化小样本学习
摘要

我们提出了一种用于少样本学习任务的归纳式拉普拉斯正则化推理方法。给定从基础类别中学习得到的任意特征嵌入,我们最小化一个包含两项的二次二值分配函数:(1)一元项,将查询样本分配给最近的类别原型;(2)成对拉普拉斯项,促使邻近的查询样本获得一致的标签分配。我们的归纳式推理无需重新训练基础模型,可视为在查询集上进行图聚类,同时受到支持集提供的监督约束。我们推导出该函数松弛形式的一个计算高效的边界优化器,该优化器对每个查询样本执行独立(并行)更新,同时保证收敛性。在基础类别上仅采用简单的交叉熵训练,无需复杂的元学习策略,我们在五个少样本学习基准上进行了全面实验。结果表明,我们的LaplacianShot在不同模型、设置和数据集上均显著优于现有最先进方法。此外,该归纳式推理速度极快,计算时间接近于归纳式推理,适用于大规模少样本学习任务。