18일 전
SPLADE-v3: SPLADE의 새로운 벤치마크
Carlos Lassance, Hervé Déjean, Thibault Formal, Stéphane Clinchant

초록
SPLADE 라이브러리 최신 버전 출시와 함께 제공되는 보완 자료입니다. 본 문서에서는 학습 구조의 개선 사항을 설명하고, 최신 모델 시리즈인 SPLADE-v3를 소개합니다. 이 새로운 버전을 BM25, SPLADE++, 그리고 재정렬 모델(rerankers)과 비교하여 분석하였으며, 40개 이상의 검색 쿼리 세트를 대상으로 한 메타 분석을 통해 그 효율성을 입증하였습니다. SPLADE-v3는 기존 SPLADE 모델의 성능 한계를 더욱 극복하였으며, 통계적으로 유의미하게 BM25 및 SPLADE++보다 우수함을 입증하였습니다. 또한 크로스 인코더 기반 재정렬 모델과 경쟁할 수 있는 수준의 성능을 보였습니다. 특히 MS MARCO 개발 세트에서 MRR@10 기준 40을 넘는 성능을 기록하였으며, BEIR 벤치마크에서 도메인 외 데이터에 대한 성능도 2% 향상시켰습니다.