Ein effizientes, speichererweiterndes Transformer-Modell für wissensintensive NLP-Aufgaben

Der Zugriff auf externe Wissensquellen ist für viele Aufgaben im Bereich des Natural Language Processing (NLP), wie beispielsweise Fragebeantwortung und Dialogsysteme, von entscheidender Bedeutung. Bestehende Ansätze stützen sich entweder auf parametrische Modelle, die Wissen in ihren Parametern speichern, oder auf retrieval-erweiterte Modelle, die Zugriff auf externe Wissensquellen haben. Parametrische und retrieval-erweiterte Modelle weisen jeweils komplementäre Stärken hinsichtlich Recheneffizienz und Vorhersagegenauigkeit auf. Um die Stärken beider Ansätze zu kombinieren, schlagen wir den Efficient Memory-Augmented Transformer (EMAT) vor – ein Modell, das externes Wissen in eine Schlüssel-Wert-Speicherstruktur kodiert und die schnelle Maximum-Inner-Product-Suche (MIPS) zur Abfrage des Speichers nutzt. Außerdem führen wir Vortrainingsaufgaben ein, die es EMAT ermöglichen, informativ strukturierte Schlüssel-Wert-Darstellungen zu erzeugen und eine implizite Strategie zu erlernen, um mehrere Speicherslots in den Transformer zu integrieren. Experimente auf verschiedenen wissensintensiven Aufgaben, wie Fragebeantwortung und Dialogdatensätze, zeigen, dass die einfache Erweiterung parametrischer Modelle (T5-base) mit unserem Ansatz genauere Ergebnisse liefert (z. B. von 25,8 auf 44,3 EM auf NQ), während gleichzeitig eine hohe Durchsatzleistung beibehalten wird (z. B. 1000 Abfragen pro Sekunde auf NQ). Im Vergleich zu retrieval-erweiterten Modellen läuft EMAT überall deutlich schneller und erzielt auf den Datensätzen WoW und ELI5 genauere Ergebnisse. Unser Code und die verwendeten Datensätze sind unter https://github.com/uclnlp/EMAT verfügbar.