Analyse de dépendance neuronale non supervisée du second ordre

La plupart des analyseurs de dépendances non supervisés sont basés sur des modèles génératifs probabilistes du premier ordre qui ne prennent en compte que les informations locales entre un nœud parent et son enfant. Inspirés par l'analyse de dépendances supervisée du deuxième ordre, nous avons proposé une extension du deuxième ordre des modèles neuronaux non supervisés de dépendance, intégrant des informations entre grands-parents et enfants ou entre frères et sœurs. Nous proposons également une nouvelle conception de la paramétrisation neuronale et des méthodes d'optimisation des modèles de dépendance. Dans les modèles du deuxième ordre, le nombre de règles grammaticales augmente cubiquement avec l'accroissement de la taille du vocabulaire, ce qui rend difficile l'entraînement de modèles lexicalisés pouvant contenir plusieurs milliers de mots. Pour contourner ce problème tout en bénéficiant à la fois des avantages de l'analyse du deuxième ordre et de la lexicalisation, nous utilisons le cadre d'apprentissage basé sur l'accord pour entraîner conjointement un modèle non lexicalisé du deuxième ordre et un modèle lexicalisé du premier ordre. Les expériences menées sur plusieurs jeux de données montrent l'efficacité de nos modèles du deuxième ordre par rapport aux méthodes les plus récentes de pointe. Notre modèle conjoint réalise une amélioration de 10 % par rapport au parseur précédemment considéré comme étant à la pointe sur l'ensemble complet des tests WSJ (Wall Street Journal).