Wissensdistillation von Reader zu Retriever für die Fragebeantwortung

Die Aufgabe der Informationsbeschaffung ist eine zentrale Komponente vieler natürlicher Sprachverarbeitungssysteme, beispielsweise im Bereich der offenen Domänen-Fragebeantwortung. Während traditionelle Ansätze auf handgebastelten Merkmalen basierten, erzielten kürzlich kontinuierliche Darstellungen mittels neuronalen Netzen wettbewerbsfähige Ergebnisse. Ein zentrales Problem bei der Nutzung solcher Methoden ist die Notwendigkeit von überwachten Daten zur Trainierung des Retrievers, wobei jeweils Paare aus Abfrage und unterstützenden Dokumenten benötigt werden. In diesem Artikel stellen wir eine Technik vor, um Retriever-Modelle für nachgeschaltete Aufgaben zu lernen, inspiriert von Knowledge Distillation, und die keine annotierten Paare aus Abfragen und Dokumenten erfordert. Unser Ansatz nutzt die Aufmerksamkeitswerte eines Leser-Modells, das die Aufgabe auf Basis der abgerufenen Dokumente löst, um synthetische Labels für den Retriever zu generieren. Wir evaluieren unsere Methode anhand der Fragebeantwortung und erreichen dabei state-of-the-art Ergebnisse.