HyperAIHyperAI

Command Palette

Search for a command to run...

GenIE: Generative Information Extraction

Martin Josifoski Nicola De Cao Maxime Peyrard Fabio Petroni Robert West

Zusammenfassung

Die strukturierte und fundierte Darstellung von Text wird typischerweise durch geschlossene Informationsextraktion formalisiert, wobei es darum geht, eine erschöpfende Menge an (Subjekt, Relation, Objekt)-Tripeln zu extrahieren, die mit einem vordefinierten Satz an Entitäten und Relationen aus einer Wissensbasenschema konsistent sind. Die meisten bestehenden Ansätze basieren auf Pipeline-Architekturen, die anfällig für Fehlerakku­mulation sind, und alle Verfahren sind nur auf unrealistisch kleine Mengen an Entitäten und Relationen anwendbar. Wir stellen GenIE (generative information extraction) vor, die erste end-to-end-autoregressive Formulierung der geschlossenen Informationsextraktion. GenIE nutzt auf natürliche Weise die Sprachkenntnisse von vortrainierten Transformers, indem sie Relationen und Entitäten in Textform autoregressiv generiert. Durch eine neuartige zweistufige, constraint-basierte Generierungsstrategie werden ausschließlich Tripel erzeugt, die mit dem vordefinierten Wissensbasenschema konsistent sind. Unsere Experimente zeigen, dass GenIE den aktuellen Stand der Technik in der geschlossenen Informationsextraktion erreicht, sich mit weniger Trainingsdatenpunkten besser generalisiert als Baselines und sich auf bisher unhandhabbare Zahlen von Entitäten und Relationen skaliert. Mit dieser Arbeit wird die geschlossene Informationsextraktion nun praktikabel in realistischen Szenarien, was neue Möglichkeiten für nachgeschaltete Aufgaben eröffnet. Schließlich legt diese Arbeit den Grundstein für einen einheitlichen end-to-end-Ansatz für die zentralen Aufgaben der Informationsextraktion. Code, Daten und Modelle sind unter https://github.com/epfl-dlab/GenIE verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp