DiffCSE: 문장 임베딩을 위한 차이 기반 대조 학습

우리는 문장 임베딩을 학습하기 위한 비지도 대조 학습 프레임워크인 DiffCSE를 제안한다. DiffCSE는 원본 문장과 편집된 문장 간의 차이에 민감한 문장 임베딩을 학습한다. 여기서 편집된 문장은 원본 문장을 확률적으로 마스킹한 후 마스킹된 언어 모델에서 샘플링하여 얻어진다. 우리는 DiffCSE가 Dangovski 등(2021)이 제안한 등변 대조 학습(equivariant contrastive learning)의 한 예임을 보이며, 이는 대조 학습을 일반화한 것으로, 특정 유형의 증강에 무관하고, 반면 '해로운'(harmful) 유형의 증강에 민감한 표현을 학습한다. 실험 결과, DiffCSE는 비지도 문장 표현 학습 방법 중 최고 성능을 기록하며, 의미적 텍스트 유사도 작업에서 비지도 SimCSE보다 2.3점의 절대적 성능 향상을 달성하였다.