近似最近邻负对比学习在稠密文本检索中的应用

在密集学习表示空间中进行文本检索相较于稀疏检索具有诸多显著优势。然而，密集检索（Dense Retrieval, DR）的实际效果通常需要与稀疏检索相结合才能达到最佳性能。本文指出，其主要瓶颈在于训练机制：训练过程中所使用的负样本并不能充分代表测试阶段中的无关文档。为此，本文提出一种名为“近似最近邻负样本对比估计”（Approximate Nearest Neighbor Negative Contrastive Estimation, ANCE）的新型训练机制，该机制基于语料库的近似最近邻（Approximate Nearest Neighbor, ANN）索引构建负样本，并在模型学习过程中并行更新该索引，从而选择更具真实性的负样本用于训练。这一方法从根本上缓解了密集检索在训练与测试阶段所面临的数据分布不一致问题。实验结果表明，ANCE显著提升了BERT-Siamese密集检索模型的性能，使其超越所有现有的竞争性密集与稀疏检索基线。在ANCE学习得到的表示空间中，该方法在使用点积计算时几乎达到了稀疏检索结合BERT重排序的精度水平，同时实现了近100倍的推理速度提升。