摘要
多任务学习假设，能够从多个任务中进行学习的模型，可通过知识迁移实现更高的性能与效率，这正是人类学习的核心特征之一。然而，当前最先进的机器学习模型通常针对每个任务进行高度定制化设计，主要依赖模型规模与数据量的扩大，而非通过增加任务数量来提升能力。此外，持续学习（continual learning）在多任务学习的基础上引入了时间维度，但其研究往往局限于对常见缺陷（如灾难性遗忘）的分析，而非作为构建下一代人工智能的关键组件进行大规模系统性研究。为此，我们提出一种进化式方法，能够生成大规模多任务模型，并支持新任务的动态加入。所生成的多任务模型采用稀疏激活机制，并集成基于任务的路由策略，确保计算成本可控，且在模型扩展过程中，每个新增任务带来的参数增量极小。该方法依赖一种知识隔离（knowledge compartmentalization）技术，有效抵御灾难性遗忘、梯度干扰以及负迁移等常见问题。实证结果表明，该方法可在69个公开图像分类任务上实现联合求解，并取得具有竞争力的性能表现。例如，在CIFAR-10这一具有挑战性的基准测试中，相比在公开数据上训练的最佳模型，本方法实现了15%的相对误差降低，显著超越现有技术水平。