REBEL: Relationenextraktion durch end-to-end Sprachgenerierung
{Roberto Navigli Pere-Lluis Huguet Cabot}
Abstract
Die Extraktion von Relationstripel aus Rohtext ist eine zentrale Aufgabe im Information Extraction und ermöglicht zahlreiche Anwendungen wie die Auffüllung oder Validierung von Wissensbasen, die Faktenüberprüfung sowie weitere nachgeschaltete Aufgaben. Allerdings erfordert sie normalerweise mehrstufige Pipelines, die Fehler propagieren oder auf eine geringe Anzahl von Relationstypen beschränkt sind. Um diese Probleme zu überwinden, schlagen wir den Einsatz autoregressiver Seq2Seq-Modelle vor. Solche Modelle haben sich bereits nicht nur bei der Sprachgenerierung, sondern auch bei Aufgaben des Natural Language Understanding (NLU), wie beispielsweise der Entitätsverknüpfung, als leistungsfähig erwiesen, da sie als Seq2Seq-Aufgaben formuliert werden können.In diesem Artikel zeigen wir, wie die Relationsextraktion vereinfacht werden kann, indem man Tripel als Sequenz von Text ausdrückt, und stellen REBEL vor – ein auf BART basierendes Seq2Seq-Modell, das end-to-end Relationsextraktion für mehr als 200 verschiedene Relationstypen durchführt. Wir demonstrieren die Flexibilität unseres Modells durch Fine-Tuning auf einer Vielzahl von Benchmarks für Relationsextraktion und Relationsklassifikation, wobei es in den meisten Fällen die bisher beste Leistung erzielt.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| joint-entity-and-relation-extraction-on-3 | REBEL | Relation F1: 41.8 |
| joint-entity-and-relation-extraction-on-3 | REBEL+pretraining | Relation F1: 47.1 |
| relation-extraction-on-ade-corpus | REBEL (including overlapping entities) | RE+ Macro F1: 82.2 |
| relation-extraction-on-conll04 | REBEL | RE+ Macro F1 : 76.65 RE+ Micro F1: 75.4 |
| relation-extraction-on-nyt | REBEL (no pre-training) | F1: 93.1 |
| relation-extraction-on-re-tacred | REBEL (no entity type marker) | F1: 90.4 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.