Einführen einer Relationenstruktur in Sprachmodell-Embeddings mittels kontrastivem Lernen

Obwohl Sprachmodell-Textembeddings die Forschung im Bereich der natürlichen Sprachverarbeitung (NLP) revolutioniert haben, sind ihre Fähigkeiten, hochwertige semantische Informationen – wie etwa Beziehungen zwischen Entitäten im Text – zu erfassen, begrenzt. In diesem Artikel stellen wir einen neuartigen kontrastiven Lernansatz vor, der Satzembeddings trainiert, um Beziehungen in einer Graphstruktur zu kodieren. Gegeben ein Satz (unstrukturiierter Text) und dessen zugehörigen Graphen verwenden wir kontrastives Lernen, um eine auf Beziehungen ausgerichtete Struktur in die Token-Ebenen-Repräsentationen des Satzes einzufügen, die mittels eines CharacterBERT-Modells (El Boukkouri et al., 2020) erzeugt wurden. Die resultierenden relationssensiblen Satzembeddings erreichen state-of-the-art-Ergebnisse bei der Relationsextraktion, wobei lediglich ein einfacher KNN-Klassifikator verwendet wird, was die Wirksamkeit des vorgeschlagenen Ansatzes belegt. Zusätzliche Visualisierungen mittels t-SNE-Analyse zeigen die Überlegenheit des gelernten Repräsentationsraums gegenüber Baselines. Darüber hinaus zeigen wir, dass sich ein unterschiedlicher Repräsentationsraum für die Erkennung benannter Entitäten (Named Entity Recognition) lernen lässt, ebenfalls unter Verwendung eines kontrastiven Lernziels, und demonstrieren, wie beide Repräsentationsräume erfolgreich in einer Aufgabe zur Entität-Beziehung-Verknüpfung kombiniert werden können.