초록
BERT (Devlin 등, 2018)와 RoBERTa (Liu 등, 2019)는 의미적 텍스트 유사성(Semantic Textual Similarity, STS)과 같은 문장 쌍 회귀 작업에서 새로운 최고 수준의 성능을 달성하였습니다. 그러나 이 방법은 두 문장 모두 네트워크에 입력되어야 하므로, 막대한 계산 부하를 초래합니다. 예를 들어, 10,000개의 문장 집합에서 가장 유사한 쌍을 찾기 위해서는 BERT를 사용하여 약 5천만 번의 추론 계산(약 65시간)이 필요합니다. BERT의 구조는 의미적 유사성 검색뿐만 아니라 클러스터링과 같은 비지도 학습 작업에도 적합하지 않습니다.본 논문에서는 사전 학습된 BERT 네트워크를 수정하여 쌍생망(Siamese) 및 삼중망(Triplet) 구조를 사용해 코사인 유사성을 통해 비교할 수 있는 의미적으로 중요한 문장 임베딩을 도출하는 Sentence-BERT (SBERT)를 제시합니다. 이를 통해 BERT 또는 RoBERTa로 65시간이 소요되는 가장 유사한 쌍을 찾는 작업이 SBERT를 사용하여 약 5초로 대폭 단축되면서도 BERT의 정확성을 유지할 수 있습니다.우리는 SBERT와 SRoBERTa를 일반적인 STS 작업 및 전이 학습 작업에서 평가하였으며, 다른 최고 수준의 문장 임베딩 방법보다 우수한 성능을 보였습니다.