摘要
检索在推荐系统、搜索引擎以及自然语言处理（NLP）等领域中发挥着基础性作用，其核心目标是根据给定查询，从大规模语料库中高效地找出相关项目。在这一过程中，点积（dot product）作为相似性度量函数被广泛采用，这得益于最大内积搜索（Maximum Inner Product Search, MIPS）算法的支持，从而实现了高效的检索。然而，当前最先进的检索算法已逐步转向基于学习的相似性度量方法。这些先进方法包括多查询嵌入、复杂的神经网络结构、通过束搜索（beam search）直接解码物品ID，以及混合式解决方案等。遗憾的是，针对这些先进架构，目前尚缺乏高效的检索实现方案。本文致力于填补这一空白，系统研究在具有强表达能力的可学习相似性函数下的高效检索技术。我们提出将“Logits混合模型”（Mixture-of-Logits, MoL）作为相似性函数的通用近似器，并通过实证验证其强大的表达能力，能够在多种不同的检索场景中实现卓越性能。此外，我们进一步提出一系列高效算法，用于基于MoL实现近似Top-k结果的检索，并严格保证误差边界。通过大量实验验证，我们发现，结合所提出的基于互信息的负载均衡损失函数后，MoL在异构场景下均取得了新的最先进性能，涵盖推荐系统中的序列化检索模型，以及面向问答任务的微调语言模型。同时，我们的近似Top-k算法在延迟方面相比传统精确算法最高可提升66倍，同时仍能保持超过0.99的召回率，显著优于现有基线方法。