HyperAIHyperAI
vor 17 Tagen

Wie man seinen DRAGON schult: Diversifizierte Augmentation für verallgemeinerungsfähige dichte Recherche

Sheng-Chieh Lin, Akari Asai, Minghan Li, Barlas Oguz, Jimmy Lin, Yashar Mehdad, Wen-tau Yih, Xilun Chen
Wie man seinen DRAGON schult: Diversifizierte Augmentation für verallgemeinerungsfähige dichte Recherche
Abstract

In den letzten Jahren wurden verschiedene Techniken entwickelt, um die Leistung von Dense Retrieval (DR) zu verbessern, darunter unsupervisierte kontrastive Lernverfahren und die Generierung von Pseudo-Abfragen. Bestehende DR-Modelle leiden jedoch häufig unter einem Effektivitäts-Kompromiss zwischen supervisiertem und zero-shot Retrieval, wobei einige Forscher dies auf eine begrenzte Modellkapazität zurückführen. Wir widerlegen diese Hypothese und zeigen, dass ein generalisierbares DR-Modell trainiert werden kann, das sowohl im supervisierten als auch im zero-shot Retrieval hohe Genauigkeit erreicht, ohne die Modellgröße zu erhöhen. Insbesondere untersuchen wir systematisch das kontrastive Lernen von DR-Modellen im Rahmen des Data Augmentation (DA)-Frameworks. Unsere Studie zeigt, dass übliche DA-Praktiken – wie die Erweiterung von Abfragen mittels generativer Modelle und die Erstellung von Pseudo-Relevanzlabels mittels Cross-Encoders – oft ineffizient und suboptimal sind. Wir schlagen daher einen neuen DA-Ansatz vor, der vielfältige Abfragen und unterschiedliche Quellen von Supervision nutzt, um ein generalisierbares DR-Modell schrittweise zu trainieren. Als Ergebnis erreicht DRAGON, unser mit vielfältiger Augmentation trainiertes Dense Retriever, erstmals bei BERT-base-Größe die state-of-the-art-Leistung sowohl im supervisierten als auch im zero-shot Evaluation und konkurriert sogar mit komplexeren Modellen, die eine spätere Interaktion nutzen (ColBERTv2 und SPLADE++).

Wie man seinen DRAGON schult: Diversifizierte Augmentation für verallgemeinerungsfähige dichte Recherche | Neueste Forschungsarbeiten | HyperAI