用于抗噪学习的IMAE：平均绝对误差不平等对待样本，梯度幅度的方差很重要

在本研究中，我们从经验损失函数中的样本加权角度，即关于logits的梯度大小（gradient magnitude with respect to logits），探讨了针对异常训练数据的鲁棒深度学习问题，这一视角尚未得到充分研究。因此，我们得出了两个关键发现：平均绝对误差（Mean Absolute Error, MAE）并不平等地对待所有样本。我们对MAE进行了新的观察和深入分析，理论上已证明其具有噪声鲁棒性。首先，我们在实际应用中揭示了其欠拟合问题。其次，我们分析指出，MAE的噪声鲁棒性来源于对不确定样本的强调，而非如先前研究所声称的那样平等地对待所有训练样本。梯度大小的方差至关重要。我们提出了一种有效且简单的解决方案来增强MAE的拟合能力，同时保留其噪声鲁棒性。在不改变MAE的整体加权方案的前提下，即哪些样本获得更高的权重，我们通过非线性地调整其加权方差来改变不同样本之间的影响比例。我们的解决方案被称为改进后的平均绝对误差（Improved MAE, IMAE）。通过广泛的实验验证，我们证明了IMAE的有效性：包括在干净标签、合成标签噪声和现实世界未知噪声条件下的图像分类任务。