HyperAIHyperAI

Command Palette

Search for a command to run...

BM25S:通过积极稀疏打分实现数量级加速的词法搜索

Xing Han Lù

摘要

我们提出 BM25S,这是一个基于 Python 的高效 BM25 实现,仅依赖 NumPy 和 SciPy。BM25S 在索引阶段通过预先计算 BM25 分数并将其存储为稀疏矩阵,相较于目前最流行的 Python 框架,速度最高提升达 500 倍。此外,与广泛应用于主流商业产品的高度优化的 Java 实现相比,BM25S 也实现了显著的性能提升。最后,BM25S 通过引入一种新颖的分数偏移(score shifting)方法,将预计算机制扩展至非稀疏版本,精确复现了 Kamphuis 等人(2020)提出的五种 BM25 变体的实现。代码开源地址为:https://github.com/xhluca/bm25s


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供