미세 조정된 사전 학습 언어 모델의 약한 감독을 위한 대조적 정규화 자기 학습 접근법

미세 조정(fine-tuning)된 사전 학습(pre-trained) 언어 모델(language models, LMs)은 많은 자연어 처리(natural language processing, NLP) 작업에서 엄청난 성공을 거두었지만, 여전히 미세 조정 단계에서 과도한 라벨링 데이터(labeled data)가 필요합니다. 본 연구에서는 어떠한 라벨링 데이터도 없이 약한 감독(weak supervision)만으로 사전 학습된 LMs를 미세 조정하는 문제를 다룹니다. 이 문제는 LMs의 높은 용량(capacity)으로 인해 약한 감독에 의해 생성된 노이즈 라벨(noisy labels)에 과적합(overfitting)되기 쉽기 때문에 도전적입니다. 이를 해결하기 위해, 대조적 정규화(contrastive regularization)와 신뢰도 기반 재가중(confidence-based reweighting)을 기반으로 하는 대조적 자기 학습 프레임워크인 COSINE을 개발하였습니다. 이 프레임워크는 모델 적합성을 점진적으로 향상시키면서 오류 전파(error propagation)를 효과적으로 억제할 수 있습니다. 시퀀스(sequence), 토큰(token), 문장 쌍(sentence pair) 분류 작업에서 수행된 실험 결과, 우리의 모델은 6개 작업의 7개 벤치마크에서 가장 강력한 기준선(baseline)보다 크게 우수한 성능을 보였으며, 완전 지도(fully-supervised) 미세 조정 방법과 경쟁력 있는 성능을 달성하였습니다.