HyperAIHyperAI
vor 4 Monaten

Erweitern von vortrainierten Sprachmodellen mit Entitätsinformationen für die Relationenklassifizierung

Shanchan Wu; Yifan He
Erweitern von vortrainierten Sprachmodellen mit Entitätsinformationen für die Relationenklassifizierung
Abstract

Die Klassifikation von Beziehungen ist eine wichtige Aufgabe im Bereich der natürlichsprachlichen Verarbeitung (NLP), die es ermöglicht, Beziehungen zwischen Entitäten zu extrahieren. Die neuesten Methoden zur Beziehungs klassifikation basieren hauptsächlich auf Faltungs- oder Rekurrenten Neuronalen Netzen. Kürzlich erzielt das vortrainierte BERT-Modell sehr erfolgreiche Ergebnisse in vielen NLP-Klassifikations- und Sequenzbeschriftungsaufgaben. Die Beziehungs klassifikation unterscheidet sich von diesen Aufgaben dadurch, dass sie sowohl auf Informationen des Satzes als auch auf die beiden Zielentitäten angewiesen ist. In dieser Arbeit schlagen wir ein Modell vor, das sowohl das vortrainierte BERT-Sprachmodell nutzt als auch Informationen der Zielentitäten integriert, um die Beziehungs klassifikation zu bewältigen. Wir lokalisieren die Zielentitäten und übertragen die Informationen durch die vortrainierte Architektur und integrieren die entsprechende Kodierung der beiden Entitäten. Auf dem SemEval-2010 Task 8 relationalen Datensatz erreichen wir einen signifikanten Fortschritt gegenüber den bisher besten Methoden.