HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen dichter Darstellungen von Phrasen in Skalierung

Jinhyuk Lee Mujeen Sung Jaewoo Kang Danqi Chen

Zusammenfassung

Die offene Domänen-Fragebeantwortung kann als Problem der Phrasenretrieval-Formulierung neu interpretiert werden, wodurch eine on-demand-Verarbeitung von Dokumenten während der Inferenz entfällt (Seo et al., 2019). Derzeitige Phrasenretrieval-Modelle stützen sich jedoch stark auf spärliche Darstellungen und erreichen weiterhin eine unterdurchschnittliche Leistung im Vergleich zu Retriever-Reader-Ansätzen. In dieser Arbeit zeigen wir erstmals, dass sich durch alleinige Lernung dichter Darstellungen von Phrasen eine erheblich stärkere Leistung in der offenen Domänen-Fragebeantwortung erzielen lässt. Wir präsentieren eine effektive Methode zur Lernung von Phrasendarstellungen anhand der Supervision von Leseverständnisaufgaben, kombiniert mit neuartigen Ansätzen zur Negativ-Sampling. Zudem schlagen wir eine feinabstimmungsorientierte Strategie auf der Abfrage-Seite vor, die Transfer-Learning unterstützt und die Diskrepanz zwischen Trainings- und Inferenzphase reduziert. Auf fünf gängigen offenen Domänen-Fragebeantwortungs-Datensätzen verbessert unser Modell DensePhrases frühere Phrasenretrieval-Modelle um 15–25 Prozentpunkte absolut und erreicht die Leistung von State-of-the-Art-Retriever-Reader-Modellen. Aufgrund der rein dichten Darstellungen ist unser Modell leicht parallisierbar und verarbeitet mehr als 10 Fragen pro Sekunde auf CPUs. Schließlich nutzen wir unsere vorindexierten dichten Phrasendarstellungen direkt für zwei Slot-Filling-Aufgaben, wodurch das Potenzial von DensePhrases als dichtes Wissensbasis für nachgeschaltete Aufgaben belegt wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp