在本文中，我们提出了一种用于通用多任务学习（MTL）的新型卷积神经网络（CNN）结构，该结构能够在每一层自动融合来自不同任务的特征。这与目前最广泛使用的MTL CNN结构形成对比，后者通常基于经验或启发式方法在某些特定层共享特征（例如，除了最后一层卷积层外共享所有特征）。所提出的逐层特征融合方案通过以新颖的方式结合现有的CNN组件来实现，并具有明确的数学解释性，即判别降维（Neural Discriminative Dimensionality Reduction, NDDR）。具体而言，我们首先根据通道维度拼接来自不同任务且具有相同空间分辨率的特征。然后，我们证明了判别降维可以通过1x1卷积、批归一化和权重衰减在一个CNN中完成。使用现有的CNN组件确保了端到端训练，并使所提出的NDDR层能够以“即插即用”的方式扩展到各种最先进的CNN架构中。详细的消融分析表明，所提出的NDDR层易于训练，并且对不同的超参数具有鲁棒性。在不同任务集和各种基础网络架构上的实验展示了我们所提出方法的优异性能和良好的泛化能力。本文的代码可在https://github.com/ethanygao/NDDR-CNN 获取。