Parsing non supervisé avec S-DIORA : Encodage d'un arbre unique pour les autoencodeurs récursifs profonds à l'intérieur-extérieur

Le modèle auto-encodeur récursif à structure intérieure-extérieure profonde (DIORA ; Drozdov et al., 2019) est un modèle neuronal auto-supervisé capable d’apprendre à induire des structures d’arbre syntaxique pour des phrases d’entrée, sans accès à des données d’entraînement étiquetées. Dans cet article, nous montrons que, bien que DIORA encode exhaustivement toutes les arbres binaires possibles d’une phrase à l’aide d’un programme dynamique doux, son approche fondée sur la moyenne vectorielle est localement gloutonne et ne peut pas corriger les erreurs lors du calcul de l’arbre d’analyse de score maximal dans le cadre de l’analyse ascendante par tableau (bottom-up chart parsing). Pour résoudre ce problème, nous proposons S-DIORA, une variante améliorée de DIORA, qui encode un unique arbre au lieu d’un mélange pondéré doucement d’arbres, en utilisant une opération d’argmax rigide et un faisceau (beam) à chaque cellule du tableau. Nos expériences montrent qu’en ajustant finement un modèle DIORA pré-entraîné grâce à notre nouvel algorithme, nous améliorons l’état de l’art dans le domaine de l’analyse constituante non supervisée sur le corpus anglais WSJ Penn Treebank de 2,2 à 6 % en F1, selon les données utilisées pour l’ajustement fin.