经过微调的预训练语言模型（LMs）在许多自然语言处理（NLP）任务中取得了巨大成功，但在微调阶段仍需要大量的标注数据。本文研究了仅使用弱监督而无需任何标注数据来微调预训练LMs的问题。这一问题具有挑战性，因为LMs的高容量使得它们容易过拟合由弱监督生成的噪声标签。为了解决这一问题，我们开发了一种对比自训练框架——COSINE，以实现利用弱监督对LMs进行微调。该框架基于对比正则化和置信度重加权，能够在逐步提高模型拟合能力的同时有效抑制错误传播。实验结果表明，在序列分类、标记分类和句子对分类任务上，我们的模型在6个任务中的7个基准测试中大幅超越了最强的基线方法，并且其性能与完全监督下的微调方法相当。