摘要
尽管多任务学习（Multi-Task Learning）在利用不同任务间的互补知识方面展现出巨大潜力，但现有的多任务优化（Multi-Task Optimization, MTO）方法仍主要聚焦于通过以优化器为中心的损失缩放和梯度操作策略来解决任务间的冲突，却未能带来稳定的效果提升。在本文中，我们认为共享表示空间（shared representation space）——任务交互自然发生的区域——蕴含丰富的信息和操作潜力，这些操作可以与现有优化器形成互补，尤其是在促进任务间互补性方面，这一方向在MTO中尚未得到充分探索。基于这一直觉，我们提出了Rep-MTL方法，该方法通过任务表示层面的显著性（task saliency）来量化任务特定优化与共享表示学习之间的交互。通过基于熵的惩罚机制和样本级的跨任务对齐策略，Rep-MTL旨在通过保持各任务的有效训练来缓解负迁移（negative transfer），而不仅仅是解决冲突，同时明确促进互补信息的共享。我们在四个具有挑战性的多任务学习（MTL）基准测试中进行了实验，覆盖了任务偏移（task-shift）和领域偏移（domain-shift）两种场景。实验结果表明，即使在仅采用基础的等权重策略的情况下，Rep-MTL仍能实现具有竞争力的性能提升，并展现出良好的效率。除了标准性能指标外，幂律指数（Power Law exponent）分析进一步验证了Rep-MTL在平衡任务特定学习与跨任务信息共享方面的有效性。项目页面详见 HERE。