Cross-Lingual Alignment von kontextuellen Wort-Einbettungen, mit Anwendungen auf Zero-Shot Abhängigkeitsanalyse

Wir stellen eine neuartige Methode für die mehrsprachige Transferlearning vor, die tiefgehende kontextuelle Einbettungen nutzt, die auf unsupervisierte Weise vortrainiert wurden. Obwohl kontextuelle Einbettungen im Vergleich zu ihren statischen Gegenstücken reichere Darstellungen von Bedeutung liefern, stellt ihre Anpassung aufgrund ihrer dynamischen Natur eine Herausforderung dar. Zu diesem Zweck konstruieren wir kontextunabhängige Varianten der ursprünglichen einheitssprachigen Räume und nutzen deren Abbildung, um eine Anpassung für die kontextabhängigen Räume herzuleiten. Diese Abbildung ermöglicht es, die Verarbeitung einer Zielsprache zu unterstützen und den Transfer durch kontextsensible Einbettungen zu verbessern. Unsere experimentellen Ergebnisse zeigen die Effektivität dieses Ansatzes für das Zero-Shot- und Few-Shot-Lernen der Abhängigkeitsanalyse. Insbesondere übertrifft unsere Methode den bisherigen Stand der Technik bei 6 getesteten Sprachen konstant und erreicht durchschnittlich eine Verbesserung von 6,8 LAS-Punkten (LAS = Labeled Attachment Score).