8 天前

基于类别平衡策略的跨模态合并训练用于噪声标签学习

{Qiu Chen, YingWen Zhu, Ge Jin, Ming Yang, Yi Zhu, Qian Zhang}
摘要

大规模数据集的构建不可避免地引入了噪声标签,导致深度神经网络(DNN)的性能显著下降。尽管样本选择是当前噪声标签学习领域中的主流方法,旨在通过在模型训练过程中减轻噪声标签的影响,但此类方法在不同噪声率和噪声类型下的测试性能表现出显著波动。为此,本文提出了一种名为“交叉融合训练”(Cross-to-Merge Training, C2MT)的新框架,该框架在样本选择过程中对先验信息不敏感,从而提升了模型的鲁棒性。在实际实现中,C2MT采用交叉划分的训练数据,利用协同教学(co-teaching)策略对两个不同的网络进行多轮局部交叉训练,并通过周期性地对两个模型的参数执行联邦平均(federated averaging)操作,将二者融合为一个统一模型。此外,我们在数据交叉划分过程中引入了一种新的类别平衡策略——中位数平衡策略(Median Balance Strategy, MBS),该策略基于估计的损失分布特征,将训练数据均衡地划分为带标签子集与无标签子集。在合成数据集与真实世界数据集上的大量实验结果表明,C2MT具有优异的性能表现。代码将公开发布于:https://github.com/LanXiaoPang613/C2MT。

基于类别平衡策略的跨模态合并训练用于噪声标签学习 | 最新论文 | HyperAI超神经