Lernen dichter Darstellungen von Phrasen in Skalierung

Die offene Domänen-Fragebeantwortung kann als Problem der Phrasenretrieval-Formulierung neu interpretiert werden, wodurch eine on-demand-Verarbeitung von Dokumenten während der Inferenz entfällt (Seo et al., 2019). Derzeitige Phrasenretrieval-Modelle stützen sich jedoch stark auf spärliche Darstellungen und erreichen weiterhin eine unterdurchschnittliche Leistung im Vergleich zu Retriever-Reader-Ansätzen. In dieser Arbeit zeigen wir erstmals, dass sich durch alleinige Lernung dichter Darstellungen von Phrasen eine erheblich stärkere Leistung in der offenen Domänen-Fragebeantwortung erzielen lässt. Wir präsentieren eine effektive Methode zur Lernung von Phrasendarstellungen anhand der Supervision von Leseverständnisaufgaben, kombiniert mit neuartigen Ansätzen zur Negativ-Sampling. Zudem schlagen wir eine feinabstimmungsorientierte Strategie auf der Abfrage-Seite vor, die Transfer-Learning unterstützt und die Diskrepanz zwischen Trainings- und Inferenzphase reduziert. Auf fünf gängigen offenen Domänen-Fragebeantwortungs-Datensätzen verbessert unser Modell DensePhrases frühere Phrasenretrieval-Modelle um 15–25 Prozentpunkte absolut und erreicht die Leistung von State-of-the-Art-Retriever-Reader-Modellen. Aufgrund der rein dichten Darstellungen ist unser Modell leicht parallisierbar und verarbeitet mehr als 10 Fragen pro Sekunde auf CPUs. Schließlich nutzen wir unsere vorindexierten dichten Phrasendarstellungen direkt für zwei Slot-Filling-Aufgaben, wodurch das Potenzial von DensePhrases als dichtes Wissensbasis für nachgeschaltete Aufgaben belegt wird.