通过弱监督对比预训练生成文本嵌入

本文介绍了E5，一种最先进的文本嵌入模型家族，该模型在广泛的任务中表现出色。E5采用对比学习方法进行训练，使用我们精心整理的大规模文本对数据集（称为CCPairs）中的弱监督信号。E5可以作为任何需要单向量文本表示的任务的通用嵌入模型，例如检索、聚类和分类，在零样本和微调设置下均表现出强大的性能。我们在来自BEIR和MTEB基准的56个数据集上进行了广泛的评估。对于零样本设置，E5是首个在BEIR检索基准上超越强BM25基线的模型，且未使用任何标注数据。当进行微调时，E5在MTEB基准上取得了最佳结果，其性能超过了参数量多40倍的现有嵌入模型。