Design des nachgeschalteten Modells eines vortrainierten Sprachmodells für die Aufgabe der Relationsextraktion

Supervisierte Methoden zur Relationsextraktion basierend auf tiefen neuronalen Netzen spielen eine wichtige Rolle im aktuellen Bereich der Informationsextraktion. Derzeit erreichen ihre Leistungsfähigkeit jedoch noch kein zufriedenstellendes Niveau, da komplexe Relationen eine erhebliche Herausforderung darstellen. Andererseits haben kürzlich vorgestellte vortrainierte Sprachmodelle (Pre-trained Language Models, PLMs) durch Fine-tuning in Kombination mit Modellen für nachgeschaltete Aufgaben erhebliche Erfolge in mehreren Aufgabenfeldern der natürlichen Sprachverarbeitung erzielt. Die ursprünglichen Standardaufgaben von PLMs umfassen jedoch noch nicht die Aufgabe der Relationsextraktion. Wir gehen davon aus, dass PLMs ebenfalls zur Lösung des Problems der Relationsextraktion genutzt werden können, doch ist hierfür ein speziell entworfenes nachgeschaltetes Aufgabenmodell oder gar eine maßgeschneiderte Verlustfunktion erforderlich, um komplexe Relationen angemessen zu bewältigen. In diesem Artikel wird eine neue Netzarchitektur mit einer speziellen Verlustfunktion vorgestellt, die als nachgeschaltetes Modell für PLMs zur überwachten Relationsextraktion dient. Experimente haben gezeigt, dass unsere Methode die derzeit besten Baseline-Modelle auf mehreren öffentlichen Datensätzen zur Relationsextraktion signifikant übertrifft.