HyperAIHyperAI
il y a 12 jours

Distributions logistiques normales partagées pour un lien de paramètres doux dans l'induction grammaticale non supervisée

{Noah A. Smith, Shay Cohen}
Distributions logistiques normales partagées pour un lien de paramètres doux dans l'induction grammaticale non supervisée
Résumé

Nous présentons une famille de lois a priori sur les poids des grammaires probabilistes, appelée distribution logistique normale partagée. Cette famille étend la distribution logistique normale partitionnée, permettant une covariance factorisée entre les probabilités d'événements de dérivation différents dans la grammaire probabiliste, offrant ainsi une nouvelle manière de coder des connaissances a priori sur une grammaire inconnue. Nous décrivons un algorithme EM variationnel pour l'apprentissage d'une grammaire probabiliste fondé sur cette famille de lois a priori. Nous menons ensuite des expériences sur l'induction non supervisée de grammaires à dépendances et montrons des améliorations significatives apportées par notre modèle, tant pour l'apprentissage monolingue que pour l'apprentissage bilingue utilisant un corpus multilingue non parallèle.

Distributions logistiques normales partagées pour un lien de paramètres doux dans l'induction grammaticale non supervisée | Articles de recherche récents | HyperAI