弱教師付き事前学習言語モデルのファインチューニング：コントラスティブ正則化自己学習アプローチ

微調整された事前学習言語モデル（LMs）は、多くの自然言語処理（NLP）タスクで大きな成功を収めていますが、微調整段階では依然として過度のラベル付きデータが必要です。本研究では、ラベル付きデータなしで弱い監督のみを使用して事前学習済みのLMsを微調整する問題に取り組んでいます。この問題は、LMsの高い容量がノイジーなラベルの過学習を引き起こしやすくすることから難易度が高いです。これを解決するために、対照的な自己訓練フレームワークであるCOSINEを開発しました。対照的正則化と信頼度に基づく再重み付けによって支えられたこのフレームワークは、モデルの適合性を徐々に向上させつつ、誤り伝播を効果的に抑制することができます。シーケンス分類、トークン分類、および文ペア分類タスクにおける実験結果は、当モデルが6つのタスクにおける7つのベンチマークで最強のベースラインを大幅に上回り、完全監督下での微調整手法と競合する性能を達成していることを示しています。