대조 학습(Contrastive learning)은 사전 훈련된 언어 모델(PLMs)의 성능을 향상시켜 보편적인 문장 임베딩을 도출하는 데 효과적임이 입증되었다. 그러나 기존의 대조 학습 방법은 여전히 두 가지 한계를 가지고 있다. 첫째, 기존 연구들은 도메인 전이(domain shift) 환경에서 낮은 성능을 보일 수 있으며, 이는 문장 표현의 실용적 적용을 저해한다. 이러한 낮은 성능의 원인을 수백만 개의 파라미터를 가진 PLMs의 과도한 파라미터화에 기인한다고 판단하였다. 이를 완화하기 위해, PLMs는 고정한 채로 소규모의 소프트 프롬프트(Soft Prompt, 즉 훈련 가능한 벡터 집합)만을 훈련하는 PromCSE(Prompt-based Contrastive Learning for Sentence Embeddings)를 제안한다. 둘째, 대조 학습에서 흔히 사용되는 NT-Xent 손실 함수는 감독 학습 환경에서 어려운 음성 예(hard negatives)를 충분히 활용하지 못한다. 이를 해결하기 위해, NT-Xent 손실과 에너지 기반 학습(Energy-based Learning) 패러다임 간의 연결성을 참고하여, 쌍별 구분 능력을 강화하기 위해 에너지 기반 힌지 손실(Energy-based Hinge loss)을 도입한다. 일곱 개의 표준 의미적 텍스트 유사도(STS) 작업 및 도메인 전이된 STS 작업에서의 실험 결과는 제안한 방법이 현재 최고 수준의 문장 임베딩 모델들과 비교해도 효과적임을 보여준다. 코드는 공개되어 있으며, 다음 주소에서 확인할 수 있다: https://github.com/YJiangcm/PromCSE