HyperAIHyperAI

Command Palette

Search for a command to run...

基于实例相关标签噪声的学习:一种样本筛法

Hao Cheng Zhaowei Zhu Xingyu Li Yifei Gong Xing Sun Yang Liu

摘要

人工标注标签通常容易受到噪声干扰,而此类噪声的存在会显著降低所构建深度神经网络(DNN)模型的性能。现有文献(尽管近年来已有若干例外)在处理噪声标签的学习问题时,主要关注标签噪声与特征无关的情形。然而在实际应用中,标注错误往往具有实例依赖性,且通常与识别某一任务的难度密切相关。若直接将适用于实例无关噪声场景的现有方法应用于此类问题,往往需要对噪声率进行大量估计,这在实践中既不现实也难以准确实现。因此,针对实例依赖性标签噪声的学习问题,提供理论严谨的解决方案仍是一大挑战。本文提出一种名为CORES²(COnfidence REgularized Sample Sieve)的新方法,该方法通过逐步筛除被污染的样本实现噪声过滤。CORES²的实现无需预先指定噪声率,同时我们能够为该方法在剔除错误样本方面提供严格的理论保证。这一高质量的样本筛除机制使得在训练DNN模型时,可将干净样本与被污染样本分别处理,而在实例依赖性噪声设置下,这种分离策略被证明具有显著优势。我们在CIFAR-10和CIFAR-100数据集上引入合成的实例依赖性标签噪声,以及在Clothing1M数据集上使用真实世界的人工标注噪声,对CORES²的性能进行了验证。此外,从独立研究兴趣出发,我们的样本筛除机制为分析噪声数据集提供了一种通用工具,并为多种鲁棒训练技术提供了灵活的接口,有助于进一步提升模型性能。代码已公开,详见:https://github.com/UCSC-REAL/cores


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供