Retrieval als Attention: Ende-zu-Ende-Lernen von Retrieval und Reading innerhalb eines einzigen Transformers

Systeme für wissensintensive Aufgaben wie die offene Domänen-Fragebeantwortung (QA) bestehen typischerweise aus zwei Phasen: einer effizienten Recherche relevanter Dokumente aus einer großen Korpus und einer detaillierten Lektüre der ausgewählten Dokumente zur Generierung von Antworten. Retriever und Reader werden üblicherweise getrennt modelliert, was eine aufwändige Implementierung erfordert und eine end-to-end-Training und Anpassung erschwert. In diesem Paper überdenken wir dieses Design und verzichten auf die getrennte Architektur und das getrennte Training zugunsten eines einzigen Transformers, der die Recherche als Aufmerksamkeit (Retrieval as Attention, ReAtt) ausführt und ausschließlich auf der Grundlage von Supervision aus der End-QA-Aufgabe end-to-end trainiert wird. Erstmals zeigen wir, dass ein einzelnes, end-to-end trainiertes Modell sowohl konkurrenzfähige Retrieval- als auch QA-Leistung erreicht und die Leistung von state-of-the-art getrennt trainierten Retrievern und Readern erreicht oder leicht übertreffen kann. Darüber hinaus führt die end-to-end-Anpassung zu einer signifikanten Leistungssteigerung auf out-of-domain-Datensätzen sowohl im überwachten als auch im unüberwachten Setting, wodurch unser Modell eine einfache und anpassungsfähige Lösung für wissensintensive Aufgaben darstellt. Der Quellcode und die Modelle sind unter https://github.com/jzbjyb/ReAtt verfügbar.