HyperAIHyperAI

Command Palette

Search for a command to run...

RocketQA: Ein optimierter Trainingsansatz für die dichte Absatzretrieval für offene Domänen-Fragebeantwortung

Yingqi Qu Yuchen Ding Jing Liu Kai Liu Ruiyang Ren Wayne Xin Zhao Daxiang Dong Hua Wu Haifeng Wang

Zusammenfassung

Bei der offenen Domänen-Fragebeantwortung ist die dichte Abschnittsretrieval-Technik zu einem neuen Paradigma geworden, um relevante Abschnitte zur Findung von Antworten zu identifizieren. Typischerweise wird die Dual-Encoder-Architektur eingesetzt, um dichte Darstellungen von Fragen und Abschnitten für die semantische Anpassung zu lernen. Allerdings ist die effektive Schulung eines Dual-Encoders aufgrund mehrerer Herausforderungen schwierig, darunter die Diskrepanz zwischen Trainings- und Inferenzphase, die Existenz unlabeled positiver Beispiele sowie begrenzte Trainingsdaten. Um diese Probleme zu bewältigen, schlagen wir einen optimierten Trainingsansatz namens RocketQA vor, der das dichte Abschnittsretrieval verbessert. RocketQA leistet drei wesentliche technische Beiträge: Cross-Batch-Negatives, entrauschte harte Negative und Datenaugmentation. Die experimentellen Ergebnisse zeigen, dass RocketQA sowohl auf dem MSMARCO- als auch auf dem Natural Questions-Datensatz deutlich die vorherigen State-of-the-Art-Modelle übertrifft. Zudem führen wir umfangreiche Experimente durch, um die Wirksamkeit der drei Strategien in RocketQA zu untersuchen. Außerdem demonstrieren wir, dass die Leistung von end-to-end-Fragebeantwortung basierend auf unserem RocketQA-Retrieval-Modell verbessert werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp