HyperAIHyperAI

Command Palette

Search for a command to run...

Alignement interlinguistique des plongements de mots contextuels, avec applications à l'analyse de dépendance sans supervision préalable

Tal Schuster Ori Ram Regina Barzilay Amir Globerson

Résumé

Nous présentons une nouvelle méthode de transfert multilingue qui utilise des plongements contextuels profonds préentraînés de manière non supervisée. Bien que les plongements contextuels aient été démontrés pour fournir des représentations plus riches du sens par rapport à leurs homologues statiques, leur alignement pose un défi en raison de leur nature dynamique. À cette fin, nous construisons des variantes indépendantes du contexte des espaces monolingues originaux et utilisons leur cartographie pour déduire un alignement pour les espaces dépendants du contexte. Cette cartographie facilite le traitement d'une langue cible, améliorant ainsi le transfert grâce aux plongements contextuellement conscients. Nos résultats expérimentaux montrent l'efficacité de cette approche pour l'apprentissage sans supervision (zero-shot) et l'apprentissage avec peu d'exemples (few-shot) de l'analyse syntaxique des dépendances. Plus précisément, notre méthode surpasse constamment l'état de l'art précédent sur 6 langues testées, offrant une amélioration moyenne de 6,8 points LAS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Alignement interlinguistique des plongements de mots contextuels, avec applications à l'analyse de dépendance sans supervision préalable | Articles | HyperAI