摘要
深度神经网络（DNNs）在标签噪声环境下难以有效学习，已有研究表明其会记忆随机标签，从而损害模型的泛化能力。在标准训练流程中，学习过程缺乏正则化手段以抑制记忆行为，且仅依赖独热编码（one-hot encoded）标签作为唯一的监督信号，这是该方法的主要缺陷。为此，我们提出一种名为“噪声并发训练”（Noisy Concurrent Training, NCT）的新方法，该方法通过协同学习机制，将两个模型之间的共识作为额外的监督信号，以增强学习鲁棒性。此外，受大脑在不同试次间行为变异性的启发，我们提出一种反直觉的正则化策略——目标变异（target variability），即在每个训练批次中，随机更改一部分样本的标签，以此作为抑制DNN过度记忆和过拟合的手段。该策略独立应用于每个模型，以保持模型间的差异性，避免陷入确认偏差（confirmation bias）。由于DNN通常倾向于优先学习简单模式，随后才逐步记忆噪声标签，因此我们设计了一种动态学习机制：随着训练的推进，两个模型逐渐增加对彼此共识的依赖程度。同时，NCT在训练后期逐步增强目标变异的强度，以持续抑制模型在训练后期的过记忆行为。我们在合成数据集和真实世界中的噪声基准数据集上验证了该方法的有效性，结果表明NCT显著提升了DNN在标签噪声环境下的鲁棒性与泛化性能。