摘要
在多任务学习中，多个任务联合解决，共享它们之间的归纳偏置。多任务学习本质上是一个多目标问题，因为不同的任务可能会产生冲突，需要进行权衡。一种常见的折衷方法是优化一个代理目标，该目标最小化每个任务损失的加权线性组合。然而，这种变通方法仅在任务不竞争时有效，而这种情况很少见。本文明确将多任务学习视为多目标优化问题，总体目标是找到帕累托最优解。为此，我们采用了梯度基础多目标优化文献中的算法。这些算法由于对梯度维度和任务数量的扩展性较差，因此不能直接应用于大规模学习问题。因此，我们提出了一种多目标损失的上界，并证明了其可以高效优化。进一步地，我们在现实假设下证明了优化这一上界可以得到帕累托最优解。我们将该方法应用于多种多任务深度学习问题，包括数字分类、场景理解（联合语义分割、实例分割和深度估计）以及多标签分类。实验结果表明，我们的方法产生的模型性能优于近期的多任务学习公式或单独训练的任务模型。