초록
텍스트 임베딩은 일반적으로 다른 작업으로의 적용 가능성을 반영하지 못하는 단일 작업에서의 작은 데이터셋 세트에서 평가된다. 의미적 텍스트 유사도(STS)에서 최고 성능을 보이는 임베딩이 클러스터링이나 재정렬(reranking)과 같은 다른 작업에 동일하게 잘 적용될 수 있는지 여부는 명확하지 않다. 이로 인해 다양한 모델들이 지속적으로 제안되지만 적절한 평가 없이 진행되면서 분야 내 진전을 추적하기 어렵게 된다. 이러한 문제를 해결하기 위해 우리는 대규모 텍스트 임베딩 벤치마크(Massive Text Embedding Benchmark, MTEB)를 소개한다. MTEB는 총 58개의 데이터셋과 112개의 언어를 포함하는 8개의 임베딩 작업을 아우른다. MTEB에서 33개의 모델을 벤치마킹한 결과, 지금까지 가장 포괄적인 텍스트 임베딩 평가 기준을 구축하게 되었다. 분석 결과, 특정 텍스트 임베딩 방법이 모든 작업에서 우세하다는 것은 발견되지 않았다. 이는 분야가 여전히 보편적인 텍스트 임베딩 방법을 확립하고, 모든 임베딩 작업에서 최고 성능을 낼 수 있도록 충분히 확장하지 못했다는 것을 시사한다. MTEB는 오픈소스 코드와 공개 리더보드를 함께 제공하며, 해당 정보는 https://github.com/embeddings-benchmark/mteb 에서 확인할 수 있다.