Re2G: Abrufen, Neuanordnen, Generieren

Wie GPT-3 und T5 gezeigt haben, steigern sich die Fähigkeiten von Transformatoren, wenn der Parameterraum immer größer wird. Für Aufgaben, die ein umfangreiches Wissen erfordern, ermöglicht nichtparametrisches Gedächtnis jedoch, dass Modelle bei sublinearem Anstieg der Rechenkosten und GPU-Speicheranforderungen dramatisch wachsen können. Kürzliche Modelle wie RAG und REALM haben das Retrieval in die bedingte Generierung eingeführt. Diese Modelle integrieren eine neuronale anfängliche Passage-Retrieval aus einem Korpus von Passagen. Wir bauen auf dieser Forschungsrichtung auf und schlagen Re2G vor, das sowohl neuronales anfängliches Retrieval als auch Reranking in eine auf BART basierende sequenzbasierte Generierung kombiniert. Unser Reranking-Ansatz ermöglicht auch das Zusammenführen von Retrieval-Ergebnissen aus Quellen mit unvergleichbaren Scores, was ein Ensemble von BM25 und neuronalem anfänglichem Retrieval erlaubt. Um unser System end-to-end zu trainieren, führen wir eine neuartige Variante des Wissensdistillierens ein, um das anfängliche Retrieval, den Reranker und die Generierung ausschließlich mit Ground Truth bezüglich der Zielsequenzausgabe zu trainieren. Wir stellen große Verbesserungen in vier verschiedenen Aufgaben fest: zero-shot Slot-Füllung, Fragebeantwortung, Faktprüfung und Dialog, mit relativen Verbesserungen von 9% bis 34% im Vergleich zum bisherigen Stand der Technik auf dem KILT-Leaderboard. Wir stellen unseren Code als Open Source zur Verfügung unter https://github.com/IBM/kgi-slot-filling/tree/re2g.