摘要
神经网络通常会对虚假相关特征产生偏见，这些特征提供了误导性的统计证据，无法泛化。这引发了一个有趣的问题：“在一个严重偏见的网络中是否存在一个最优的无偏功能子网络？如果存在，如何提取这样的子网络？”尽管关于这种无偏子网络存在的实证证据已经积累了不少，但这些观察主要依赖于真实无偏样本的指导。因此，在实际应用中，如何在有偏训练数据集中发现最优子网络仍然是未被探索的问题。为了解决这一问题，我们首先提出了理论见解，指出了现有算法在强虚假相关性存在的情况下探索无偏子网络时可能面临的潜在局限性。然后，我们进一步阐明了偏差冲突样本在结构学习中的重要性。基于这些观察结果，我们提出了一种去偏对比权重剪枝（Debiased Contrastive Weight Pruning, DCWP）算法，该算法能够在没有昂贵群体注释的情况下探测无偏子网络。实验结果表明，尽管我们的方法大幅减少了参数数量，但其性能显著优于现有的去偏方法。