深度网络在类别间是否具备不变性迁移能力？

为了实现良好的泛化能力，分类器必须学会对不改变输入类别属性的干扰性变换保持不变性。许多实际问题中存在“与类别无关”的干扰变换，这些变换对所有类别具有相似影响，例如图像分类任务中的光照变化和背景变化。在数据充足的情况下，神经网络能够学习到这类不变性。然而，现实世界中的许多数据集存在严重的类别不平衡问题，大多数类别仅包含少量样本。因此，我们提出一个关键问题：神经网络能否将从大类别中学习到的与类别无关的不变性有效迁移至小类别？通过系统的实验研究，我们发现，对与类别无关变换的不变性仍然高度依赖于类别规模，网络在小类别上的不变性显著弱于大类别。这一现象即使在采用数据平衡技术后依然存在，表明类别间的不变性迁移效果较差。该结果为分类器在不平衡数据分布和长尾分布上泛化能力差提供了一个可能的解释。基于上述分析，我们进一步提出一种基于生成模型的方法，用于学习干扰变换本身，从而实现跨类别的不变性迁移。该方法在一系列类别不平衡的图像分类基准测试中显著提升了模型性能。我们已将实验的源代码公开，地址为：https://github.com/AllanYangZhou/generative-invariance-transfer。