17 天前

面向少样本学习的模型无关图正则化

Ethan Shen, Maria Brbic, Nicholas Monath, Jiaqi Zhai, Manzil Zaheer, Jure Leskovec
面向少样本学习的模型无关图正则化
摘要

在众多领域中,类别之间的关系通常以知识图谱的形式进行编码。近年来,将知识图谱作为辅助信息引入到数据极度有限的硬分类任务中,已取得令人瞩目的成果。然而,现有模型普遍采用结构高度复杂、包含多个子模块的架构,且各组件似乎均对性能产生影响,导致模型可解释性较差。本文针对图嵌入的少样本学习开展了一项全面的实证研究。我们提出一种图正则化方法,能够更深入地理解标签间引入图结构信息所带来的影响。所提出的正则化方法具有广泛的适用性与模型无关性,可显著提升任意少样本学习模型的性能,涵盖微调型、度量学习型以及基于优化的元学习模型。实验结果表明,该方法在Mini-ImageNet数据集上可使强基线模型性能提升最高达2%,在ImageNet-FS数据集上提升幅度高达6.7%,优于当前最先进的图嵌入方法。进一步分析显示,采用图正则化的模型在更具挑战性的任务中表现更优,例如样本数量更少、支持样本信息量更低的情况,其损失值也显著降低。