Gemeinsame Entität- und Relationsextraktion mit Set-Prädiktionsnetzwerken

Die Aufgabe der gemeinsamen Entität- und Relationsextraktion zielt darauf ab, alle relationalen Tripel aus einem Satz zu extrahieren. Im Wesentlichen sind die in einem Satz enthaltenen relationalen Tripel ungeordnet. Frühere seq2seq-basierte Modelle erfordern jedoch, dass die Menge der Tripel im Trainingsphase in eine Sequenz transformiert wird. Um diese Beschränkung zu überwinden, betrachten wir die gemeinsame Entität- und Relationsextraktion als ein direktes Set-Prädiktionsproblem, sodass das Extraktionsmodell von der Last der Vorhersage der Reihenfolge mehrerer Tripel entlastet wird. Um dieses Set-Prädiktionsproblem zu lösen, schlagen wir Netzwerke vor, die auf Transformers basieren und eine nicht-autoregressive, parallele Dekodierung nutzen. Im Gegensatz zu autoregressiven Ansätzen, die Tripel nacheinander in einer festgelegten Reihenfolge generieren, geben die vorgeschlagenen Netzwerke direkt in einem Schritt das endgültige Set an Tripeln aus. Zudem entwerfen wir eine set-basierte Verlustfunktion, die eindeutige Vorhersagen durch bipartite Zuordnung erzwingt. Im Vergleich zur Kreuzentropie-Verlustfunktion, die kleine Verschiebungen in der Tripelreihenfolge stark bestraft, ist die vorgeschlagene bipartite Zuordnungsverlustfunktion invariant gegenüber jeder Permutation der Vorhersagen; somit liefert sie den vorgeschlagenen Netzwerken ein präziseres Trainingssignal, indem sie die Tripelreihenfolge ignorieren und sich stattdessen auf Relationstypen und Entitäten konzentrieren. Experimente auf zwei Standard-Datensätzen zeigen, dass unser vorgeschlagenes Modell die derzeit besten Ansätze deutlich übertrifft. Der Trainingscode und die trainierten Modelle werden unter http://github.com/DianboWork/SPN4RE verfügbar sein.