Amélioration du parseur dépendant génératif non supervisé grâce à des informations contextuelles

La plupart des parseurs de dépendances non supervisés reposent sur des modèles génératifs probabilistes qui apprennent la distribution conjointe d’une phrase donnée et de son analyse syntaxique. Ces modèles génératifs probabilistes décomposent généralement de manière explicite l’arbre de dépendance souhaité en règles grammaticales factorisées, ce qui les prive des caractéristiques globales de l’ensemble de la phrase. Dans cet article, nous proposons un nouveau modèle probabiliste, appelé modèle de dépendance neuronal discriminatif à valence (D-NDMV), qui génère une phrase et son analyse à partir d’une représentation latente continue, encodant ainsi des informations contextuelles globales de la phrase générée. Nous proposons deux approches pour modéliser cette représentation latente : la première consiste à résumer déterministement la représentation à partir de la phrase, tandis que la seconde la modélise de manière probabiliste conditionnellement à la phrase. Notre approche peut être considérée comme un nouveau type de modèle d’auto-encodeur pour le parseur de dépendances non supervisé, combinant les avantages des techniques génératives et discriminatives. En particulier, notre méthode rompt avec l’hypothèse d’indépendance contextuelle libre de grammaire adoptée dans les approches génératives antérieures, devenant ainsi plus expressive. Nos résultats expérimentaux étendus sur dix-sept jeux de données provenant de diverses sources montrent que notre approche atteint une précision compétitive par rapport aux parseurs non supervisés d’état de l’art, qu’ils soient génératifs ou discriminatifs.