Induction non supervisée d’arbre latent avec des auto-encodeurs récursifs profonds à l’intérieur-extérieur

Nous présentons le modèle DIORA (Deep Inside-Outside Recursive Autoencoder), une méthode entièrement non supervisée pour découvrir la syntaxe tout en apprenant simultanément des représentations pour les constituants au sein de l’arbre induit. Notre approche prédit chaque mot d’une phrase d’entrée conditionnellement au reste de la phrase. Pendant l’entraînement, nous utilisons la programmation dynamique pour considérer toutes les arbres binaires possibles sur la phrase, et pour l’inférence, nous appliquons l’algorithme CKY afin d’extraire l’analyse ayant le score maximal. Le DIORA surpasser les résultats précédemment rapportés pour la parsa syntaxique binaire non supervisée sur le jeu de données standard WSJ.