HyperAIHyperAI

Command Palette

Search for a command to run...

ColBERTv2: Effektive und effiziente Retrieval durch lightweight Late Interaction

Keshav Santhanam Omar Khattab Jon Saad-Falcon Christopher Potts Matei Zaharia

Zusammenfassung

Neuronale Informationsretrieval-Systeme (IR) haben die Suche und andere wissensintensive Sprachaufgaben erheblich vorangebracht. Während viele neuronale IR-Methoden Anfragen und Dokumente in einzelvektor-basierte Darstellungen kodieren, erzeugen späte Interaktionsmodelle mehrvektor-basierte Darstellungen auf der Granularität jedes Tokens und zerlegen die Relevanzmodellierung in skalierbare, tokenbasierte Berechnungen. Diese Zerlegung hat sich als wirksamer erwiesen, führt jedoch zu einer Vergrößerung des Speicherbedarfs dieser Modelle um eine Größenordnung. In dieser Arbeit stellen wir ColBERTv2 vor, einen Retriever, der eine aggressive Residual-Kompressionstechnik mit einer verrauschungsgedämpften Supervisionsstrategie kombiniert, um gleichzeitig die Qualität und den Speicherbedarf von späten Interaktionsmodellen zu verbessern. Wir evaluieren ColBERTv2 an einer Vielzahl von Benchmarks und erreichen sowohl innerhalb als auch außerhalb des Trainingsdomains den derzeitigen Stand der Technik, während gleichzeitig der Speicherbedarf später Interaktionsmodelle um den Faktor 6 bis 10 reduziert wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp