HyperAIHyperAI

Command Palette

Search for a command to run...

Einführen einer Relationenstruktur in Sprachmodell-Embeddings mittels kontrastivem Lernen

Christos Theodoropoulos James Henderson Andrei C. Coman Marie-Francine Moens

Zusammenfassung

Obwohl Sprachmodell-Textembeddings die Forschung im Bereich der natürlichen Sprachverarbeitung (NLP) revolutioniert haben, sind ihre Fähigkeiten, hochwertige semantische Informationen – wie etwa Beziehungen zwischen Entitäten im Text – zu erfassen, begrenzt. In diesem Artikel stellen wir einen neuartigen kontrastiven Lernansatz vor, der Satzembeddings trainiert, um Beziehungen in einer Graphstruktur zu kodieren. Gegeben ein Satz (unstrukturiierter Text) und dessen zugehörigen Graphen verwenden wir kontrastives Lernen, um eine auf Beziehungen ausgerichtete Struktur in die Token-Ebenen-Repräsentationen des Satzes einzufügen, die mittels eines CharacterBERT-Modells (El Boukkouri et al., 2020) erzeugt wurden. Die resultierenden relationssensiblen Satzembeddings erreichen state-of-the-art-Ergebnisse bei der Relationsextraktion, wobei lediglich ein einfacher KNN-Klassifikator verwendet wird, was die Wirksamkeit des vorgeschlagenen Ansatzes belegt. Zusätzliche Visualisierungen mittels t-SNE-Analyse zeigen die Überlegenheit des gelernten Repräsentationsraums gegenüber Baselines. Darüber hinaus zeigen wir, dass sich ein unterschiedlicher Repräsentationsraum für die Erkennung benannter Entitäten (Named Entity Recognition) lernen lässt, ebenfalls unter Verwendung eines kontrastiven Lernziels, und demonstrieren, wie beide Repräsentationsräume erfolgreich in einer Aufgabe zur Entität-Beziehung-Verknüpfung kombiniert werden können.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp