Phraseformer: Multimodale Schlüsselbegriffsextraktion mittels Transformer und Graph-Embedding

Hintergrund: Die Schlüsselwortextraktion ist ein weit verbreiteter Forschungsbereich im Bereich der natürlichen Sprachverarbeitung. Schlüsselwörter sind Begriffe, die die relevantesten Informationen in einem Dokument beschreiben. Das zentrale Problem, mit dem Forscher konfrontiert sind, besteht darin, effizient und präzise die zentralen Schlüsselwörter aus einem Dokument zu extrahieren. Obwohl frühere Ansätze zur Schlüsselwortextraktion sowohl textuelle als auch graphenbasierte Merkmale nutzen, fehlen bisher Modelle, die diese Merkmale optimal lernen und kombinieren können.Methoden: In diesem Artikel entwickeln wir einen multimodalen Ansatz zur Schlüsselphraseextraktion, namens Phraseformer, der auf Transformer- und Graph-Embedding-Techniken basiert. In Phraseformer wird jedes Schlüsselwortkandidat durch einen Vektor repräsentiert, der die Verkettung der textuellen und strukturellen Lernrepräsentationen darstellt. Phraseformer nutzt die Fortschritte der jüngsten Forschung, wie BERT und ExEm, um sowohl die textuellen als auch die strukturellen Informationen zu bewahren. Zudem wird die Aufgabe der Schlüsselphraseextraktion als Sequenzmarkierungsproblem formuliert, das mittels einer Klassifikationsaufgabe gelöst wird.Ergebnisse: Wir analysieren die Leistung von Phraseformer anhand der F1-Score-Metrik auf drei Datensätzen: Inspec, SemEval2010 und SemEval2017. Zudem untersuchen wir die Leistung verschiedener Klassifikatoren im Rahmen des Phraseformer-Ansatzes am Datensatz Inspec. Die experimentellen Ergebnisse belegen die Wirksamkeit von Phraseformer auf allen drei verwendeten Datensätzen. Zudem erzielt der Random-Forest-Klassifikator unter allen getesteten Klassifikatoren den höchsten F1-Score.Schlussfolgerung: Da die Kombination von BERT und ExEm semantisch sinnvoller ist und die Bedeutung von Wörtern besser repräsentiert, übertrifft Phraseformer signifikant Einzelmodellansätze, die nur eine Modality nutzen.