Alignement interlinguistique des plongements de mots contextuels, avec applications à l'analyse de dépendance sans supervision préalable

Nous présentons une nouvelle méthode de transfert multilingue qui utilise des plongements contextuels profonds préentraînés de manière non supervisée. Bien que les plongements contextuels aient été démontrés pour fournir des représentations plus riches du sens par rapport à leurs homologues statiques, leur alignement pose un défi en raison de leur nature dynamique. À cette fin, nous construisons des variantes indépendantes du contexte des espaces monolingues originaux et utilisons leur cartographie pour déduire un alignement pour les espaces dépendants du contexte. Cette cartographie facilite le traitement d'une langue cible, améliorant ainsi le transfert grâce aux plongements contextuellement conscients. Nos résultats expérimentaux montrent l'efficacité de cette approche pour l'apprentissage sans supervision (zero-shot) et l'apprentissage avec peu d'exemples (few-shot) de l'analyse syntaxique des dépendances. Plus précisément, notre méthode surpasse constamment l'état de l'art précédent sur 6 langues testées, offrant une amélioration moyenne de 6,8 points LAS.