基于深度核函数的少样本设置下的贝叶斯元学习

近年来，多种机器学习方法被提出，以应对少样本学习（few-shot learning）这一极具挑战性的场景——即在与特定任务相关的少量标注数据上进行学习。常见的方法多采用元学习（meta-learning）范式：在已有任务的基础上，学习如何快速适应新任务。鉴于元学习本质上是在多层模型中实现学习过程，本文提出一种基于深度核函数（deep kernels）的贝叶斯方法，用于对元学习内部循环进行建模。由此，我们能够学习到一种可迁移至新任务的核函数，该方法被称为深度核迁移（Deep Kernel Transfer, DKT）。DKT 具有诸多优势：实现简单，仅需单一优化器；能够提供不确定性量化；且无需估计任务特定的参数。实验结果表明，DKT 在少样本分类任务中显著优于多种前沿算法，并在跨域适应与回归任务中达到当前最优性能。研究结论表明，复杂的元学习流程可被这一更简洁的贝叶斯模型所替代，且在性能上不损失任何准确性。