Feinjustierte vortrainierte Sprachmodelle (LMs) haben in vielen Aufgaben der natürlichen Sprachverarbeitung (NLP) erheblichen Erfolg erzielt, aber sie benötigen immer noch eine übermäßige Menge an etikettierten Daten im Feinjustierungsstadium. In dieser Studie untersuchen wir das Problem der Feinjustierung von vortrainierten LMs unter Verwendung nur schwacher Überwachung und ohne irgendeine etikettierte Daten. Dieses Problem ist herausfordernd, da die hohe Kapazität von LMs sie anfällig für das Überanpassen an die durch schwache Überwachung generierten verrauschten Labels macht. Um dieses Problem zu lösen, entwickeln wir ein kontrastives Selbsttrainingsframework, COSINE, das es ermöglicht, LMs mit schwacher Überwachung zu feinjustieren. Gestützt auf kontrastive Regularisierung und vertrauensbasiertes Neugewichtung, kann dieses kontrastive Selbsttrainingsframework den Modellanpassungsprozess schrittweise verbessern, während es gleichzeitig die Fehlerfortpflanzung effektiv unterdrückt. Experimente zu sequenziellen, token- und Satzpaarklassifikationsaufgaben zeigen, dass unser Modell bei 7 Benchmarks in 6 Aufgaben deutlich besser abschneidet als die stärkste Baseline und eine wettbewerbsfähige Leistung im Vergleich zu vollständig überwachten Feinjustierungsverfahren erreicht.