ColBERTv2: Effektive und effiziente Retrieval durch lightweight Late Interaction

Neuronale Informationsretrieval-Systeme (IR) haben die Suche und andere wissensintensive Sprachaufgaben erheblich vorangebracht. Während viele neuronale IR-Methoden Anfragen und Dokumente in einzelvektor-basierte Darstellungen kodieren, erzeugen späte Interaktionsmodelle mehrvektor-basierte Darstellungen auf der Granularität jedes Tokens und zerlegen die Relevanzmodellierung in skalierbare, tokenbasierte Berechnungen. Diese Zerlegung hat sich als wirksamer erwiesen, führt jedoch zu einer Vergrößerung des Speicherbedarfs dieser Modelle um eine Größenordnung. In dieser Arbeit stellen wir ColBERTv2 vor, einen Retriever, der eine aggressive Residual-Kompressionstechnik mit einer verrauschungsgedämpften Supervisionsstrategie kombiniert, um gleichzeitig die Qualität und den Speicherbedarf von späten Interaktionsmodellen zu verbessern. Wir evaluieren ColBERTv2 an einer Vielzahl von Benchmarks und erreichen sowohl innerhalb als auch außerhalb des Trainingsdomains den derzeitigen Stand der Technik, während gleichzeitig der Speicherbedarf später Interaktionsmodelle um den Faktor 6 bis 10 reduziert wird.