Domain-angepasste Vortrainingsaufgaben für dichte Retrieval

Die Vortrainierung auf immer größeren Datensätzen mit kontinuierlich wachsenden Modellgrößen ist mittlerweile ein bewährter Ansatz zur Steigerung der Leistungsfähigkeit bei fast allen Aufgaben im Bereich der natürlichen Sprachverarbeitung (NLP). Eine bemerkenswerte Ausnahme bildet die Informationsbeschaffung, bei der bisher zusätzliche Vortrainierung keine überzeugenden Ergebnisse erbracht hat. Wir zeigen, dass dieser Hemmnis mit einem geeigneten Vortrainierungsansatz überwunden werden kann. Dies belegen wir durch die Vortrainierung großer Bi-Encoder-Modelle auf zwei Datensätzen: 1) einer kürzlich veröffentlichten Sammlung aus 65 Millionen synthetisch generierten Fragen und 2) 200 Millionen Paaren aus Beiträgen und Kommentaren aus einem bereits bestehenden Datensatz von Reddit-Konversationen, der von pushshift.io bereitgestellt wurde. Wir evaluieren unsere Modelle anhand einer Reihe von Benchmarks für Informationsbeschaffung und Dialogbeschaffung und zeigen dabei erhebliche Verbesserungen gegenüber überwachten Baselines.