摘要
在本文中，我们强调在多任务学习框架中进行任务知识蒸馏时，必须从多个尺度综合考虑任务之间的相互作用。与普遍认知不同，我们发现：在某一特定尺度下具有高亲和性的任务，并不能保证在其他尺度下依然保持这种行为，反之亦然。基于这一发现，我们提出了一种新型网络架构——MTI-Net，其在三个方面实现了创新：首先，通过多尺度多模态知识蒸馏单元，显式建模各尺度下的任务交互关系；其次，利用特征传播模块，将低尺度蒸馏得到的任务信息向高尺度进行传递；第三，通过特征聚合单元，融合所有尺度下优化后的任务特征，生成最终的每个任务的预测结果。在两个多任务密集标注数据集上的大量实验表明，与以往方法相比，我们的多任务模型充分释放了多任务学习的潜力，实现了更小的内存占用、更少的计算量，并在性能上优于单任务学习方法。代码已公开：https://github.com/SimonVandenhende/Multi-Task-Learning-PyTorch。