HyperAIHyperAI

Command Palette

Search for a command to run...

基于同时扰动法的单次元学习中多任务权重优化

Andrei Boiarov Kostiantyn Khabarlak Igor Yastrebov

摘要

元学习方法旨在构建能够快速适应新任务的算法,尤其在数据稀缺的场景下表现优异。其中最具挑战性的基准任务之一便是零样本学习(one-shot learning)。在此设定下,许多算法面临因训练样本数量有限而带来的不确定性,容易导致过拟合问题。该问题可通过向模型提供额外信息来缓解,而多任务学习(multi-task learning)是其中最为高效的方法之一。本文研究了一种标准元学习流程的改进方法。所提出的方法在统一的损失函数中同时利用多个元训练任务的信息,各任务在损失函数中的影响由各自的权重参数控制。合理优化这些任务权重,对训练过程及最终模型性能具有显著影响。为此,我们提出并系统研究了基于同时扰动随机逼近(Simultaneous Perturbation Stochastic Approximation, SPSA)家族的方法,用于元训练任务权重的优化。实验结果表明,与基于梯度的方法相比,随机逼近方法在该任务中展现出更优的性能。所提出的多任务改进方法可广泛适用于绝大多数元学习算法。我们在CIFAR-FS、FC100、miniImageNet和tieredImageNet等主流零样本学习基准数据集上,对模型无关元学习(Model-Agnostic Meta-Learning, MAML)和原型网络(Prototypical Network)算法进行了实验验证。结果表明,引入该多任务改进后,各项算法均取得了显著性能提升。其中,本文首次应用于多任务权重优化的SPSA-Tracking算法,实现了最大的准确率增益,其性能已达到当前先进元学习方法的水平。相关代码已公开发布于网络。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供