
摘要
元学习方法旨在构建能够快速适应新任务的算法,尤其在数据稀缺的场景下表现优异。其中最具挑战性的基准任务之一便是零样本学习(one-shot learning)。在此设定下,许多算法面临因训练样本数量有限而带来的不确定性,容易导致过拟合问题。该问题可通过向模型提供额外信息来缓解,而多任务学习(multi-task learning)是其中最为高效的方法之一。本文研究了一种标准元学习流程的改进方法。所提出的方法在统一的损失函数中同时利用多个元训练任务的信息,各任务在损失函数中的影响由各自的权重参数控制。合理优化这些任务权重,对训练过程及最终模型性能具有显著影响。为此,我们提出并系统研究了基于同时扰动随机逼近(Simultaneous Perturbation Stochastic Approximation, SPSA)家族的方法,用于元训练任务权重的优化。实验结果表明,与基于梯度的方法相比,随机逼近方法在该任务中展现出更优的性能。所提出的多任务改进方法可广泛适用于绝大多数元学习算法。我们在CIFAR-FS、FC100、miniImageNet和tieredImageNet等主流零样本学习基准数据集上,对模型无关元学习(Model-Agnostic Meta-Learning, MAML)和原型网络(Prototypical Network)算法进行了实验验证。结果表明,引入该多任务改进后,各项算法均取得了显著性能提升。其中,本文首次应用于多任务权重优化的SPSA-Tracking算法,实现了最大的准确率增益,其性能已达到当前先进元学习方法的水平。相关代码已公开发布于网络。