빠르고 효과적이며 자기 감독식: 마스킹 언어 모델을 보편적인 단어 및 문장 인코더로 변환

事전 학습된 마스킹 언어 모델(MLM)은 최근 몇 년 동안 자연어 처리(NLP) 분야를 혁신시켰습니다. 그러나 이전 연구에서는 애너테이션된 작업 데이터를 사용하여 NLI, 문장 유사성, 또는 패러프레이징 작업에 대한 추가적인 작업 특화 미세 조정 없이는 MLMs가 보편적인 어휘나 문장 인코더로서 효과적이지 않다는 점을 지적하였습니다. 본 연구에서는 어떠한 추가 데이터도, 감독도 없이 MLMs를 효과적인 보편적인 어휘 및 문장 인코더로 변환할 수 있음을 입증합니다. 우리는 '미러-BERT'라는 매우 간단하고 빠르며 효과적인 대조학습 기법을 제안합니다. 이 기법은 20-30초 만에 외부 지식 없이 MLMs(예: BERT와 RoBERTa)를 이러한 인코더로 변환할 수 있습니다. 미러-BERT는 완전히 동일하거나 약간 수정된 문자열 쌍을 긍정적(즉, 동의어인) 미세 조정 예제로 활용하며, 정체성 미세 조정 과정에서 그 유사성을 최대화하는 것을 목표로 합니다. 우리는 다양한 영역과 언어에서 사전 학습된 MLMs보다 미러-BERT를 사용했을 때 어휘 수준 및 문장 수준 작업에서 큰 성능 향상을 보고합니다. 특히 표준 문장 의미 유사성(STS) 작업에서 우리의 자기 지도형 미러-BERT 모델은 이전 연구의 작업 특화 Sentence-BERT 모델들과 비등한 성능을 보였습니다. 마지막으로, 우리는 MLMs의 내부 작동 원리를 깊게 탐구하고, 이 간단한 접근 방식이 왜 효과적인 보편적인 어휘 및 문장 인코더를 생성할 수 있는지에 대한 일부 증거를 제시합니다.