异方差与不平衡深度学习中的自适应正则化

真实世界的大规模数据集通常具有异方差性（heteroskedastic）和不平衡性——标签的不确定性水平各不相同，且标签分布呈现长尾特征。由于难以区分错误标注、模糊以及罕见样本，异方差性和不平衡性给深度学习算法带来了严峻挑战。目前，同时应对异方差性和不平衡性的研究仍较为不足。为此，我们提出一种面向异方差数据集的数据依赖型正则化技术，该方法能够根据输入空间的不同区域，施加差异化的正则化强度。该方法的灵感来源于一维非参数分类设置下最优正则化强度的理论推导，其核心思想是：对不确定性更高、数据密度更低的区域中的样本施加更强烈的自适应正则化。我们在多个基准任务上对所提方法进行了测试，其中包括一个真实世界的异方差且不平衡数据集——WebVision。实验结果验证了理论分析的正确性，并表明该方法在噪声鲁棒性深度学习方面显著优于现有其他方法。