HyperAIHyperAI

Command Palette

Search for a command to run...

Analyse syntaxique neurale efficace par TreeCRF du second ordre

Yu Zhang Zhenghua Li Min Zhang

Résumé

Dans l'ère du deep learning (DL), les modèles d'analyse syntaxique se sont fortement simplifiés sans perte significative de performance, grâce à la capacité remarquable des BiLSTM à plusieurs couches à représenter le contexte. En tant que parseur basé sur les graphes le plus populaire, du fait de son efficacité et de ses performances élevées, le parseur biaffine évalue directement les dépendances individuelles sous l'hypothèse d'arc-factorisation, et utilise une fonction de perte d'entraînement très simple, basée sur la cross-entropy locale par mot. Ce papier présente pour la première fois une extension du parseur biaffine par un modèle TreeCRF du second ordre. Pendant longtemps, la complexité et l'inefficacité de l'algorithme inside-outside ont freiné la popularité des TreeCRF. Pour surmonter ce problème, nous proposons une méthode efficace permettant de vectoriser les algorithmes inside et Viterbi afin d’effectuer des opérations matricielles directes sur GPU, tout en évitant l'algorithme outside complexe grâce à une rétropropagation efficace. Des expériences et une analyse menées sur 27 jeux de données issus de 13 langues montrent clairement que des techniques développées avant l’ère du deep learning, telles que l’apprentissage structuré (perte globale TreeCRF) et la modélisation de haut ordre, restent pertinentes et peuvent améliorer davantage les performances du parseur biaffine de pointe, notamment dans le cas de données d’entraînement partiellement annotées. Nous mettons notre code à disposition à l’adresse suivante : https://github.com/yzhangcs/crfpar.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp