Analyse syntaxique neurale efficace par TreeCRF du second ordre

Dans l'ère du deep learning (DL), les modèles d'analyse syntaxique se sont fortement simplifiés sans perte significative de performance, grâce à la capacité remarquable des BiLSTM à plusieurs couches à représenter le contexte. En tant que parseur basé sur les graphes le plus populaire, du fait de son efficacité et de ses performances élevées, le parseur biaffine évalue directement les dépendances individuelles sous l'hypothèse d'arc-factorisation, et utilise une fonction de perte d'entraînement très simple, basée sur la cross-entropy locale par mot. Ce papier présente pour la première fois une extension du parseur biaffine par un modèle TreeCRF du second ordre. Pendant longtemps, la complexité et l'inefficacité de l'algorithme inside-outside ont freiné la popularité des TreeCRF. Pour surmonter ce problème, nous proposons une méthode efficace permettant de vectoriser les algorithmes inside et Viterbi afin d’effectuer des opérations matricielles directes sur GPU, tout en évitant l'algorithme outside complexe grâce à une rétropropagation efficace. Des expériences et une analyse menées sur 27 jeux de données issus de 13 langues montrent clairement que des techniques développées avant l’ère du deep learning, telles que l’apprentissage structuré (perte globale TreeCRF) et la modélisation de haut ordre, restent pertinentes et peuvent améliorer davantage les performances du parseur biaffine de pointe, notamment dans le cas de données d’entraînement partiellement annotées. Nous mettons notre code à disposition à l’adresse suivante : https://github.com/yzhangcs/crfpar.