HyperAIHyperAI

Command Palette

Search for a command to run...

Chain-of-Skills: Ein konfigurierbares Modell für fragebasierte Antworten im offenen Bereich

Kaixin Ma Hao Cheng Yu Zhang Xiaodong Liu Eric Nyberg Jianfeng Gao

Zusammenfassung

Der Retrieval-Modell ist eine unverzichtbare Komponente für realweltrelevante, wissensintensive Aufgaben, beispielsweise offene Domänen-Fragebeantwortung (ODQA). Da separate Retrieval-Fähigkeiten für verschiedene Datensätze annotiert werden, konzentriert sich die jüngste Forschung auf angepasste Methoden, was die Übertragbarkeit und Skalierbarkeit der Modelle einschränkt. In dieser Arbeit stellen wir einen modularen Retriever vor, bei dem einzelne Module jeweils zentralen Fähigkeiten entsprechen, die über verschiedene Datensätze hinweg wiederverwendet werden können. Unser Ansatz ermöglicht flexible Fähigkeitskonfigurationen basierend auf dem Zielbereich, um die Leistung zu steigern. Um Aufgabeninterferenzen zu verringern, entwickeln wir eine neuartige Modularisierung-Parameterisierung, die sich an der sparsen Transformer-Architektur orientiert. Wir zeigen, dass unser Modell sowohl von selbstüberwachtem Vortrainings auf Wikipedia als auch von Feinabstimmung an mehreren ODQA-Datensätzen im mehraufgabenbasierten Ansatz profitiert. Unser Ansatz erreicht bei Null-Schritt-Evaluierungen bessere Ergebnisse als neuere selbstüberwachte Retriever und erzielt auf NQ, HotpotQA und OTT-QA state-of-the-art-Leistungen bei feinabgestimmten Retrieval-Aufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp