Grammaires non supervisées à base de réseaux de neurones récurrents

Les grammaires de réseaux neuronaux récurrents (RNNG) sont des modèles génératifs du langage qui modélisent conjointement la syntaxe et la structure superficielle en générant progressivement un arbre syntaxique et une phrase dans un ordre de haut en bas, de gauche à droite. Les RNNG supervisés atteignent d'excellentes performances en modélisation du langage et en analyse syntaxique, mais nécessitent un corpus annoté d'arbres d'analyse. Dans ce travail, nous expérimentons l'apprentissage non supervisé des RNNG. Étant donné que la marginalisation directe sur l'espace des arbres latents est irréaliste, nous appliquons au lieu de cela une inférence variationnelle amortie. Pour maximiser la borne inférieure de l'évidence, nous développons un réseau d'inférence paramétré comme un analyseur de constituency CRF neuronal. En matière de modélisation du langage, les RNNG non supervisés obtiennent des performances équivalentes à celles de leurs homologues supervisés sur des benchmarks en anglais et en chinois. En ce qui concerne l'induction de grammaires de constituency, ils sont compétitifs avec les modèles linguistiques neuronaux récents qui induisent des structures arborescentes à partir des mots par le biais de mécanismes d'attention.