HyperAIHyperAI

Command Palette

Search for a command to run...

平滑还是不平滑?标签平滑遇上噪声标签

Jiaheng Wei Hangyu Liu Tongliang Liu Gang Niu Masashi Sugiyama Yang Liu

摘要

标签平滑(Label Smoothing, LS)是一种新兴的学习范式,其通过硬标签与均匀分布的软标签的加权平均来优化模型训练。已有研究表明,LS在使用硬标签进行训练时可作为正则化手段,从而提升模型的泛化能力。后续研究进一步发现,LS在处理噪声标签时也有助于增强模型的鲁棒性。然而,我们在高噪声标签环境下观察到,LS的优势会逐渐消失。直观来看,这是由于当噪声率较高时,后验概率 P(噪声标签X)\mathbb{P}(\text{噪声标签} \mid X)P(噪声标签X) 的熵显著增加,此时再应用标签平滑容易导致对后验估计的“过度平滑”(over-smoothing)。我们进一步发现,文献中若干针对噪声标签学习的解决方案实际上更接近于“负标签平滑”(Negative Label Smoothing, NLS),其作用机制与LS相反:NLS采用负权重将硬标签与软标签进行组合!我们系统地分析了LS与NLS在噪声标签学习场景下的性质。在诸多已知特性之外,我们从理论上证明:当标签噪声率较高时,NLS相较LS更具优势。此外,我们在多个基准数据集上开展了广泛的实验,结果有力支持了我们的理论发现。相关代码已公开发布于:https://github.com/UCSC-REAL/negative-label-smoothing


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供