Rust製ベクトル検索ライブラリ「turbovec」公開

Rust言語で開発されPythonバインディングを提供するベクトルインデックスライブラリturbovecが公開された。Google Researchが提案するTurboQuantアルゴリズムを基盤とし、大規模埋め込みベクトルの圧縮記憶と高速検索を両立させることを目的としている。 本ライブラリはデータ依存性のない量子化方式を採用しており、ベクトル追加や削除に学習フェーズやインデックス再構築を必要としない。正規化とランダム回転により座標分布を正規化後、Lloyd-Max符号化とビットパックで圧縮する。これにより1000万件のfloat32ベクトルを約31GBから4GBに削減。ARMのNEONやx86のAVX-512/AVX2を活用した専用SIMDカーネルにより、FAISSのIndexPQFastScanと比べ4bit量子化で平均3.4倍以上、2bitでも数％から26％の検索高速化を実現した。再現率は同等水準を維持し、低次元環境向けに校正機能を搭載して精度低下を補正する。削除処理はO(1)の操作により微秒単位で完了し、変更分のみを保存するインクリメンタル持久化や、検索時のIDフィルタリングをSIMD演算内で直接実行可能である。 処理は全てローカル環境で完結するため、データ外部流出を懸念するVPC内やエアドロップ環境でのRAG構築に適する。既存のAIフレームワークが標準とするベクトルストアのインターフェースと互換性を持たせており、import文の差し替えだけで既存パイプラインへ組み込める。GitHubより公開されており、プライバシー保護やメモリ制約、低遅延が求められる生成AIアプリケーションの開発において、既存のインデックス技術に代わる軽量で堅牢な選択肢となり得ると期待される。