基于感知流形曲率的DNN公平性预测与提升

为应对长尾分类中的挑战，研究者提出了多种降低模型偏见的方法，其中大多数方法均假设样本较少的类别为“弱类别”。然而，近期研究表明，尾部类别并不总是难以学习，且在样本均衡的数据集上也观察到了模型偏见，这表明存在其他影响模型偏见的因素。本文首先从几何视角出发，建立了一套用于分析模型公平性的理论框架，并系统性地提出了一系列针对深度神经网络中感知流形（perceptual manifolds）的几何度量方法。随后，我们全面探究了感知流形的几何特性对分类难度的影响，以及学习过程如何塑造这些几何特性。一个出乎意料的发现是：在训练过程中，类别准确率与感知流形分离程度之间的相关性逐渐减弱，而与流形曲率的负相关性则持续增强，这表明曲率不平衡是导致模型偏见的重要原因。基于上述观察，我们提出曲率正则化（curvature regularization）方法，以引导模型学习具有曲率均衡且更平坦的感知流形。在多个长尾及非长尾数据集上的实验评估表明，所提方法表现出卓越的性能和出色的泛化能力，尤其在现有最先进方法的基础上实现了显著的性能提升。本工作为理解模型偏见提供了全新的几何分析视角，同时也提醒研究者关注在非长尾甚至样本均衡数据集上可能存在的模型偏见问题。