HyperAIHyperAI

Command Palette

Search for a command to run...

Cross-Lingual Alignment von kontextuellen Wort-Einbettungen, mit Anwendungen auf Zero-Shot Abhängigkeitsanalyse

Tal Schuster Ori Ram Regina Barzilay Amir Globerson

Zusammenfassung

Wir stellen eine neuartige Methode für die mehrsprachige Transferlearning vor, die tiefgehende kontextuelle Einbettungen nutzt, die auf unsupervisierte Weise vortrainiert wurden. Obwohl kontextuelle Einbettungen im Vergleich zu ihren statischen Gegenstücken reichere Darstellungen von Bedeutung liefern, stellt ihre Anpassung aufgrund ihrer dynamischen Natur eine Herausforderung dar. Zu diesem Zweck konstruieren wir kontextunabhängige Varianten der ursprünglichen einheitssprachigen Räume und nutzen deren Abbildung, um eine Anpassung für die kontextabhängigen Räume herzuleiten. Diese Abbildung ermöglicht es, die Verarbeitung einer Zielsprache zu unterstützen und den Transfer durch kontextsensible Einbettungen zu verbessern. Unsere experimentellen Ergebnisse zeigen die Effektivität dieses Ansatzes für das Zero-Shot- und Few-Shot-Lernen der Abhängigkeitsanalyse. Insbesondere übertrifft unsere Methode den bisherigen Stand der Technik bei 6 getesteten Sprachen konstant und erreicht durchschnittlich eine Verbesserung von 6,8 LAS-Punkten (LAS = Labeled Attachment Score).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Cross-Lingual Alignment von kontextuellen Wort-Einbettungen, mit Anwendungen auf Zero-Shot Abhängigkeitsanalyse | Paper | HyperAI