卷积网络中的多任务学习在识别领域展示了显著的成功。这一成功很大程度上归功于从多个监督任务中学习共享表示。然而，现有的多任务方法依赖于列举特定于当前任务的多种网络架构，这些方法缺乏泛化能力。本文提出了一种基于多任务学习的卷积网络（ConvNets）中学习共享表示的原则性方法。具体而言，我们提出了一种新的共享单元：“交叉缝合”单元（cross-stitch unit）。这些单元可以结合来自多个网络的激活，并且可以进行端到端训练。包含“交叉缝合”单元的网络能够学习到共享表示和任务特定表示的最佳组合。我们提出的方法在多个任务之间具有良好的泛化能力，并且对于训练样本较少的类别，其性能显著优于基线方法。