CLEAR: 문장 표현을 위한 대조 학습

사전 훈련된 언어 모델은 암묵적인 언어 특징을 효과적으로 포착하는 데 그 독특한 능력을 입증해왔다. 그러나 대부분의 사전 훈련 접근법은 단어 수준의 훈련 목표에 집중하는 반면, 문장 수준의 목표는 거의 연구되지 않았다. 본 논문에서는 문장 수준의 증강 전략을 다수 도입하여 노이즈에 불변적인 문장 표현을 학습하는 대조적 학습 기반의 방법론인 CLEAR(Contrastive LEArning for sentence Representation)을 제안한다. 이 증강 전략에는 단어 및 구간 삭제, 재정렬, 대체 등이 포함된다. 더불어, 수많은 실험을 통해 대조적 학습이 효과적인 주요 원인을 탐구한다. 실험 결과, 사전 훈련 과정에서 사용된 다양한 문장 증강 전략이 다양한 하류 작업에서 다른 성능 향상 효과를 초래함을 관찰할 수 있었다. 제안한 방법은 SentEval 및 GLUE 벤치마크 모두에서 기존의 여러 방법들을 능가함이 입증되었다.