Affinage d'un modèle de langage pré-entraîné avec une supervision faible : une approche de formation auto-supervisée régularisée par contraste

Les modèles de langage pré-entraînés (LM) affinés ont connu un succès considérable dans de nombreuses tâches de traitement du langage naturel (NLP), mais ils nécessitent toujours une quantité excessive de données étiquetées lors de l'étape d'affinage. Nous nous intéressons au problème d'affinage des LMs pré-entraînés en utilisant uniquement une supervision faible, sans aucune donnée étiquetée. Ce problème est complexe car la grande capacité des LMs les rend vulnérables à l'overfitting des étiquettes bruyantes générées par la supervision faible. Pour résoudre ce problème, nous avons développé un cadre d'apprentissage auto-contraste, COSINE, permettant d'affiner les LMs avec une supervision faible. Soutenu par la régularisation contrastive et le réétiquetage basé sur la confiance, ce cadre d'apprentissage auto-contraste peut progressivement améliorer l'ajustement du modèle tout en supprimant efficacement la propagation des erreurs. Les expériences menées sur des tâches de classification de séquences, de jetons et de paires de phrases montrent que notre modèle dépasse largement le meilleur point de référence sur 7 benchmarks dans 6 tâches, et atteint des performances compétitives comparables à celles des méthodes d'affinage entièrement supervisées.