RocketQA: Ein optimierter Trainingsansatz für die dichte Absatzretrieval für offene Domänen-Fragebeantwortung

Bei der offenen Domänen-Fragebeantwortung ist die dichte Abschnittsretrieval-Technik zu einem neuen Paradigma geworden, um relevante Abschnitte zur Findung von Antworten zu identifizieren. Typischerweise wird die Dual-Encoder-Architektur eingesetzt, um dichte Darstellungen von Fragen und Abschnitten für die semantische Anpassung zu lernen. Allerdings ist die effektive Schulung eines Dual-Encoders aufgrund mehrerer Herausforderungen schwierig, darunter die Diskrepanz zwischen Trainings- und Inferenzphase, die Existenz unlabeled positiver Beispiele sowie begrenzte Trainingsdaten. Um diese Probleme zu bewältigen, schlagen wir einen optimierten Trainingsansatz namens RocketQA vor, der das dichte Abschnittsretrieval verbessert. RocketQA leistet drei wesentliche technische Beiträge: Cross-Batch-Negatives, entrauschte harte Negative und Datenaugmentation. Die experimentellen Ergebnisse zeigen, dass RocketQA sowohl auf dem MSMARCO- als auch auf dem Natural Questions-Datensatz deutlich die vorherigen State-of-the-Art-Modelle übertrifft. Zudem führen wir umfangreiche Experimente durch, um die Wirksamkeit der drei Strategien in RocketQA zu untersuchen. Außerdem demonstrieren wir, dass die Leistung von end-to-end-Fragebeantwortung basierend auf unserem RocketQA-Retrieval-Modell verbessert werden kann.