Ambiguïté de l'optimisation structurelle et biais en faveur de la simplicité dans l'induction grammaticale neuronale non supervisée

La paramétrisation neuronale a considérablement fait progresser l'induction grammaticale non supervisée. Cependant, l'entraînement de ces modèles avec une perte de vraisemblance traditionnelle pour toutes les analyses possibles aggrave deux problèmes : 1) l’$\textit{ambiguïté d'optimisation structurelle}$ qui sélectionne arbitrairement une grammaire optimale parmi celles structuralement ambiguës, malgré la préférence spécifique des analyses d'or, et 2) le $\textit{biais en faveur de la simplicité structurelle}$ qui conduit le modèle à sous-utiliser les règles pour composer les arbres de dérivation. Ces défis exposent l'induction grammaticale neuronale non supervisée (UNGI) à des erreurs de prédiction inévitables, à une variance élevée et à la nécessité d'utiliser des grammaires étendues pour obtenir des prédictions précises. Ce papier aborde ces problèmes, offrant une analyse exhaustive de leurs origines. Comme solution, nous introduisons le $\textit{focalisation sur les analyses par phrase}$ pour réduire le nombre d'analyses par phrase lors de l'évaluation de la perte, en utilisant le biais structurel provenant des analyseurs pré-entraînés sur le même jeu de données. Dans les tests de référence en parsing non supervisé, notre méthode améliore significativement les performances tout en réduisant efficacement la variance et le biais en faveur des analyses trop simplistes. Notre recherche favorise l'apprentissage de grammaires explicites plus compactes, précises et cohérentes, facilitant ainsi une meilleure interprétabilité.