2 个月前

使用自监督学习可以提高模型的鲁棒性和不确定性

Dan Hendrycks; Mantas Mazeika; Saurav Kadavath; Dawn Song
使用自监督学习可以提高模型的鲁棒性和不确定性
摘要

自监督学习为下游任务提供了有效的表示,而无需依赖标签。然而,现有的自监督方法在性能上仍落后于完全监督训练,并且通常被认为仅在减少或消除注释需求方面具有优势。我们发现,自监督学习可以在多个方面提升模型的鲁棒性,包括对抗样本的鲁棒性、标签污染的鲁棒性和常见输入扰动的鲁棒性。此外,自监督学习在处理接近分布内的异常值时,显著提升了分布外检测的性能,甚至超过了完全监督方法的表现。这些结果表明,自监督学习在提高模型鲁棒性和不确定性估计方面具有巨大潜力,并为未来自监督学习研究建立了新的评估维度。

使用自监督学习可以提高模型的鲁棒性和不确定性 | 最新论文 | HyperAI超神经