Span-basierte gemeinsame Entität- und Relationsextraktion mit Transformer-Vortrainierung

Wir stellen SpERT vor, ein Aufmerksamkeitsmodell für die spanbasierte gemeinsame Entitäten- und Relationsextraktion. Unser zentraler Beitrag ist eine leichtgewichtige Inferenz auf BERT-Embeddings, die Entitätenerkennung und -Filterung sowie Relationsklassifikation mit einer lokalisierten, markenfreien Kontextrepräsentation umfasst. Das Modell wird mit starken negativen Beispielen innerhalb von Sätzen trainiert, die effizient in einem einzigen BERT-Durchlauf extrahiert werden. Diese Aspekte ermöglichen eine umfassende Suche über alle Spannen im Satz. In Ablationsstudien zeigen wir die Vorteile der Vortrainierung, starker negatives Sampling sowie lokalisierten Kontext. Unser Modell erreicht auf mehreren Datensätzen für die gemeinsame Entitäten- und Relationsextraktion bis zu 2,6 Prozentpunkte höhere F1-Scores im Vergleich zu vorherigen Ansätzen.