多任务学习作为一项讨价还价博弈

在多任务学习（Multi-task Learning, MTL）中，通过联合训练一个模型，使其能够同时对多个任务进行预测。联合训练能够降低计算成本并提升数据利用效率；然而，由于不同任务之间的梯度可能存在冲突，联合模型的性能通常低于其对应的单任务模型。为缓解这一问题，一种常用方法是采用特定启发式策略，将各任务的梯度合并为一个联合更新方向。本文提出将梯度组合过程视为一场讨价还价博弈（bargaining game），其中各任务通过协商达成关于参数更新方向的一致意见。在一定假设条件下，该讨价还价问题具有唯一解，即纳什讨价还价解（Nash Bargaining Solution）。我们提出将该解作为多任务学习的一种原则性方法。基于此，本文设计了一种新的多任务优化算法——Nash-MTL，并推导了其收敛性的理论保证。实验结果表明，Nash-MTL在多个不同领域的多任务学习基准测试中均取得了当前最优（state-of-the-art）的性能表现。