
摘要
自监督学习为下游任务提供了有效的表示,而无需依赖标签。然而,现有的自监督方法在性能上仍落后于完全监督训练,并且通常被认为仅在减少或消除注释需求方面具有优势。我们发现,自监督学习可以在多个方面提升模型的鲁棒性,包括对抗样本的鲁棒性、标签污染的鲁棒性和常见输入扰动的鲁棒性。此外,自监督学习在处理接近分布内的异常值时,显著提升了分布外检测的性能,甚至超过了完全监督方法的表现。这些结果表明,自监督学习在提高模型鲁棒性和不确定性估计方面具有巨大潜力,并为未来自监督学习研究建立了新的评估维度。
自监督学习为下游任务提供了有效的表示,而无需依赖标签。然而,现有的自监督方法在性能上仍落后于完全监督训练,并且通常被认为仅在减少或消除注释需求方面具有优势。我们发现,自监督学习可以在多个方面提升模型的鲁棒性,包括对抗样本的鲁棒性、标签污染的鲁棒性和常见输入扰动的鲁棒性。此外,自监督学习在处理接近分布内的异常值时,显著提升了分布外检测的性能,甚至超过了完全监督方法的表现。这些结果表明,自监督学习在提高模型鲁棒性和不确定性估计方面具有巨大潜力,并为未来自监督学习研究建立了新的评估维度。