Geteilte logistisch-normalverteilte Verteilungen für weiche Parameterbindung bei der überwachungsfreien Grammatikinduktion

Wir stellen eine Familie von Prior-Verteilungen über Wahrscheinlichkeitsgewichte von probabilistischen Grammatiken vor, die als gemeinsame logistische Normalverteilung bezeichnet wird. Diese Familie erweitert die partitionierte logistische Normalverteilung und ermöglicht eine faktorisierte Kovarianz zwischen den Wahrscheinlichkeiten verschiedener Ableitungsereignisse in der probabilistischen Grammatik, wodurch ein neuer Ansatz zur Kodierung von Vorwissen über eine unbekannte Grammatik bereitgestellt wird. Wir beschreiben einen variationalen EM-Algorithmus zur Lernung einer probabilistischen Grammatik basierend auf dieser Prior-Familie. Anschließend führen wir Experimente zum unsupervisierten Induktionsverfahren für Abhängigkeitsgrammatiken durch und zeigen signifikante Verbesserungen durch unser Modell sowohl bei monolingualer als auch bei bilingualer Lernung mit einem nicht-parallelen, mehrsprachigen Korpus.