
摘要
能够仅用少量数据学习新概念,是智能系统的一项关键能力,而这一能力对深度学习方法而言始终是一项重大挑战。元学习(meta-learning)作为一种有前景的技术,通过利用以往任务的数据,实现了对新任务的高效学习。然而,大多数元学习算法隐含地要求元训练任务之间相互独立(即互斥),使得单一模型无法同时解决所有任务。例如,在构建少样本图像分类任务时,先前的研究通常采用每项任务中对图像类别进行随机分配至N分类标签的方式。若未遵循这一设定,元学习器便可能忽略任务训练数据,转而学习一个单一模型,该模型能够“零样本”地完成所有元训练任务,但却无法有效适应新的图像类别。这一限制意味着用户在设计任务时必须格外谨慎,例如通过打乱标签或移除输入中的任务标识信息。在某些领域,这种限制使得元学习完全无法应用。本文提出一种基于信息论的元正则化目标函数,旨在优先保障数据驱动的适应能力。该方法促使元学习器自主判断:哪些知识必须从任务训练数据中学习,哪些应通过任务测试输入进行推断。通过这一机制,我们的算法能够有效利用非互斥任务的数据,实现对新任务的高效适应。我们验证了该方法在上下文型(contextual)和基于梯度(gradient-based)的元学习算法中的适用性,并将其成功应用于传统元学习难以实施的实际场景中。实验结果表明,该方法在这些场景下显著优于标准元学习算法。