HyperAIHyperAI

Command Palette

Search for a command to run...

Wissensdistillation von Reader zu Retriever für die Fragebeantwortung

Gautier Izacard Edouard Grave

Zusammenfassung

Die Aufgabe der Informationsbeschaffung ist eine zentrale Komponente vieler natürlicher Sprachverarbeitungssysteme, beispielsweise im Bereich der offenen Domänen-Fragebeantwortung. Während traditionelle Ansätze auf handgebastelten Merkmalen basierten, erzielten kürzlich kontinuierliche Darstellungen mittels neuronalen Netzen wettbewerbsfähige Ergebnisse. Ein zentrales Problem bei der Nutzung solcher Methoden ist die Notwendigkeit von überwachten Daten zur Trainierung des Retrievers, wobei jeweils Paare aus Abfrage und unterstützenden Dokumenten benötigt werden. In diesem Artikel stellen wir eine Technik vor, um Retriever-Modelle für nachgeschaltete Aufgaben zu lernen, inspiriert von Knowledge Distillation, und die keine annotierten Paare aus Abfragen und Dokumenten erfordert. Unser Ansatz nutzt die Aufmerksamkeitswerte eines Leser-Modells, das die Aufgabe auf Basis der abgerufenen Dokumente löst, um synthetische Labels für den Retriever zu generieren. Wir evaluieren unsere Methode anhand der Fragebeantwortung und erreichen dabei state-of-the-art Ergebnisse.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp