HyperAIHyperAI

Command Palette

Search for a command to run...

Dokumentenranking mit einem vortrainierten Sequenz-zu-Sequenz-Modell

Rodrigo Nogueira, Zhiying Jiang, Jimmy Lin

Zusammenfassung

Diese Arbeit schlägt eine neuartige Anpassung eines vortrainierten Sequenz-zu-Sequenz-Modells für die Aufgabe der Dokumentenbewertung vor. Unser Ansatz unterscheidet sich grundlegend von der üblichen klassifikationsbasierten Formulierung des Rankings, die auf encoder-basierten vortrainierten Transformer-Architekturen wie BERT basiert. Wir zeigen, wie ein Sequenz-zu-Sequenz-Modell trainiert werden kann, um Relevanzlabels als „Zielwörter“ zu generieren, und wie die zugrunde liegenden Logits dieser Zielwörter als Relevanzwahrscheinlichkeiten für das Ranking interpretiert werden können. Bei der beliebten MS MARCO Passage-Ranking-Aufgabe zeigen experimentelle Ergebnisse, dass unser Ansatz zumindest gleichwertig ist mit früheren klassifikationsbasierten Modellen und diese bei größeren, neueren Modellen sogar übertrifft. Anhand der Testkollektion des TREC 2004 Robust Track demonstrieren wir einen zero-shot Transfer-basierten Ansatz, der frühere state-of-the-art-Modelle übertrifft, die eine Kreuzvalidierung innerhalb des Datensatzes erfordern. Darüber hinaus stellen wir fest, dass unser Ansatz in einem datenarmen Szenario (d.h. bei wenigen Trainingsbeispielen) signifikant besser abschneidet als ein encoder-basierter Modellansatz. Wir untersuchen diese Beobachtung weiter, indem wir die Zielwörter variieren, um den Einsatz des latenten Wissens des Modells zu erforschen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp