基于合成梯度的经验贝叶斯归纳元学习

我们提出一种元学习方法，在归纳设置（transductive setting）下，通过利用未标注的查询集（query set）与支持集（support set）共同学习，为每个任务生成更具表现力的模型。为构建该框架，我们重新审视了多任务学习中的经验贝叶斯（empirical Bayes）公式。经验贝叶斯的边缘对数似然的证据下界（evidence lower bound）可分解为各任务在查询集上变分后验与真实后验之间的局部KL散度之和。我们提出一种新颖的近似变分推断方法，通过一个元模型将所有变分后验耦合起来，该元模型由一个合成梯度网络（synthetic gradient network）和一个初始化网络（initialization network）构成。每个变分后验均通过合成梯度下降推导而来，以近似查询集上的真实后验，尽管我们无法获取真实的梯度信息。在Mini-ImageNet和CIFAR-FS基准上的实验结果表明，该方法在周期性少样本分类任务中优于此前的最先进方法。此外，我们还开展了两项零样本学习实验，进一步探索了合成梯度方法的潜力。