HyperAIHyperAI

Command Palette

Search for a command to run...

基于TurboQuant的Rust向量索引库turbovec发布

近期,开发者Ryan Codrai正式开源turbovec,一款基于Rust构建并提供Python绑定的高性能向量检索引擎。该项目底层集成Google Research的TurboQuant算法,旨在为内存受限与隐私敏感场景提供纯本地化的RAG底层方案。 核心突破在于极致的压缩率与检索性能。针对千万级文档语料,turbovec将传统32位浮点格式所需的31GB内存压缩至4GB,同时依靠手写SIMD内核与硬件指令集优化,在x86与ARM架构上全面超越FAISS。基准测试表明,其4-bit量化搜索平均提速3.4倍,2-bit提速超20%,且在多项召回率指标上持平或领先。此外,引擎彻底移除离线训练环节,支持在线流式摄入,数据写入即完成索引构建,无需参数调优或全量重建。 工程层面,turbovec支持增量持久化与运行时过滤。持久化过程仅同步变更字节,单次同步调用即可实现毫秒级追加或删除,并保障任意断点恢复。检索内核原生支持按ID白名单或位掩码进行硬件级短路与过滤,有效避免冗余计算。所有数据流转与计算严格限于本地,可无缝对接主流开源嵌入模型。该项目为边缘节点部署与企业私有化大模型应用提供了兼顾低延迟、高压缩与绝对隐私的工业级向量索引基础设施。

相关链接