HyperAIHyperAI
vor 2 Monaten

Das Lernen von Entitätsrepräsentationen über verschiedene Kontexte hinweg aus Text

Jeffrey Ling; Nicholas FitzGerald; Zifei Shan; Livio Baldini Soares; Thibault Févry; David Weiss; Tom Kwiatkowski
Das Lernen von Entitätsrepräsentationen über verschiedene Kontexte hinweg aus Text
Abstract

Sprachmodellierungsaufgaben, bei denen Wörter oder Wortstücke auf der Grundlage eines lokalen Kontexts vorhergesagt werden, haben sich als sehr effektiv erwiesen, um Worteinbettungen und kontextabhängige Darstellungen von Phrasen zu erlernen. Angeregt durch die Beobachtung, dass Bemühungen zur Kodierung von Weltwissen in maschinenlesbare Wissensbasen oder menschenlesbare Enzyklopädien tendenziell entitätszentriert sind, untersuchen wir die Verwendung einer Lückentextaufgabe, um kontextunabhängige Darstellungen von Entitäten aus den Textkontexten zu lernen, in denen diese Entitäten erwähnt wurden. Wir zeigen, dass das groß angelegte Training neuronaler Modelle es uns ermöglicht, hochwertige Entitätdarstellungen zu erlernen. Zudem präsentieren wir erfolgreiche Ergebnisse in vier Bereichen: (1) bestehenden Benchmarks für Entitätstypisierung, einschließlich einer 64%igen Fehlerreduzierung im Vergleich zu früherer Arbeit an TypeNet (Murty et al., 2018); (2) einer neuen Few-Shot-Kategorie-Rekonstruktionsaufgabe; (3) bestehenden Benchmarks für Entitätsverlinkung, wo wir den Stand der Technik auf CoNLL-Aida erreichen können ohne spezifische Merkmale für die Verlinkung und einen Score von 89.8% auf TAC-KBP 2010 erzielen können ohne die Verwendung irgendeiner Alias-Tabelle, externer Wissensbasis oder domänenspezifischer Trainingsdaten; und (4) dem Beantworten von Trivia-Fragen, die Entitäten eindeutig identifizieren. Unsere globalen Entitätdarstellungen kodieren feingranuläre Kategorien wie schottische Fußballspieler und können Trivia-Fragen wie folgt beantworten: Wer war der letzte Insasse des Spandau-Gefängnisses in Berlin?

Das Lernen von Entitätsrepräsentationen über verschiedene Kontexte hinweg aus Text | Neueste Forschungsarbeiten | HyperAI