초록
디코더 기반 트랜스포머는 파라미터 수가 수백억에 이르는 규모로 지속적으로 확장되고 있으며, 프롬프팅 또는 파인튜닝을 통해 다양한 언어 작업에서 최고 성능을 기록하고 있다. 그러나 이러한 대규모 기초 모델은 의미 검색 및 문장 임베딩과 같은 관련 분야에서는 여전히 사용이 어렵다. 이로 인해 새로운 최고 성능의 결과를 도출할 가능성이 제한되고, 기관들은 별도의 모델을 훈련하고 유지보수해야 하는 불편함이 발생한다. 이를 해결하기 위해 우리는 프롬프팅 또는 파인튜닝을 통해 디코더를 문장 임베딩 및 의미 검색에 활용할 수 있는 SGPT를 제안한다. 파라미터 수 58억 개의 SGPT는 기존 최고 성능의 문장 임베딩보다 7% 이상 우수한 성능을 기록하였으며, BEIR 검색 벤치마크 기준으로 1750억 파라미터를 갖춘 동시대의 다른 방법보다도 뛰어난 성능을 보였다. 코드, 모델 및 결과 파일은 https://github.com/Muennighoff/sgpt에서 무료로 제공된다.