Chain-of-Skills: Ein konfigurierbares Modell für fragebasierte Antworten im offenen Bereich

Der Retrieval-Modell ist eine unverzichtbare Komponente für realweltrelevante, wissensintensive Aufgaben, beispielsweise offene Domänen-Fragebeantwortung (ODQA). Da separate Retrieval-Fähigkeiten für verschiedene Datensätze annotiert werden, konzentriert sich die jüngste Forschung auf angepasste Methoden, was die Übertragbarkeit und Skalierbarkeit der Modelle einschränkt. In dieser Arbeit stellen wir einen modularen Retriever vor, bei dem einzelne Module jeweils zentralen Fähigkeiten entsprechen, die über verschiedene Datensätze hinweg wiederverwendet werden können. Unser Ansatz ermöglicht flexible Fähigkeitskonfigurationen basierend auf dem Zielbereich, um die Leistung zu steigern. Um Aufgabeninterferenzen zu verringern, entwickeln wir eine neuartige Modularisierung-Parameterisierung, die sich an der sparsen Transformer-Architektur orientiert. Wir zeigen, dass unser Modell sowohl von selbstüberwachtem Vortrainings auf Wikipedia als auch von Feinabstimmung an mehreren ODQA-Datensätzen im mehraufgabenbasierten Ansatz profitiert. Unser Ansatz erreicht bei Null-Schritt-Evaluierungen bessere Ergebnisse als neuere selbstüberwachte Retriever und erzielt auf NQ, HotpotQA und OTT-QA state-of-the-art-Leistungen bei feinabgestimmten Retrieval-Aufgaben.