HyperAIHyperAI

Command Palette

Search for a command to run...

BM25S: Lexikalische Suche um Größenordnungen schneller durch ehrgeizige spärliche Bewertung

Xing Han Lù

Zusammenfassung

Wir stellen BM25S vor, eine effiziente Python-basierte Implementierung von BM25, die ausschließlich auf Numpy und Scipy basiert. BM25S erreicht bis zu einer 500-fachen Beschleunigung im Vergleich zum beliebtesten Python-basierten Framework, indem sie BM25-Scores bereits während des Indexierens vorab berechnet und in spärlichen Matrizen speichert. Zudem erzielt BM25S erhebliche Geschwindigkeitsvorteile gegenüber hochoptimierten Java-basierten Implementierungen, die in populären kommerziellen Produkten eingesetzt werden. Schließlich repliziert BM25S die exakte Implementierung von fünf BM25-Varianten basierend auf Kamphuis et al. (2020), indem es die vorab berechneten Scores auf nicht-sparse Varianten mittels einer neuartigen Score-Shifting-Methode erweitert. Der Quellcode ist unter https://github.com/xhluca/bm25s verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
BM25S: Lexikalische Suche um Größenordnungen schneller durch ehrgeizige spärliche Bewertung | Paper | HyperAI