HyperAIHyperAI
vor 2 Monaten

Verknüpfte wahrscheinlichkeitstheoretische kontextfreie Grammatiken für die Grammatikinduktion

Yoon Kim; Chris Dyer; Alexander M. Rush
Verknüpfte wahrscheinlichkeitstheoretische kontextfreie Grammatiken für die Grammatikinduktion
Abstract

Wir untersuchen eine Formalisierung des Grammatikinduktionsproblems, bei der Sätze als von einer zusammengesetzten wahrscheinlichkeitstheoretischen kontextfreien Grammatik erzeugt werden modelliert. Im Gegensatz zu traditionellen Formulierungen, die eine einzelne stochastische Grammatik lernen, werden die Regelwahrscheinlichkeiten unserer Grammatik durch eine für jeden Satz spezifische kontinuierliche latente Variable moduliert, die marginale Abhängigkeiten über die traditionellen kontextfreien Annahmen hinaus induziert. Die Inferenz in dieser Grammatik erfolgt durch kollabiertes variationales Inferenzverfahren, bei dem ein amortisiertes variationales Posterior auf die kontinuierliche Variable platziert wird und die latenten Bäume mit dynamischer Programmierung marginalisiert werden. Experimente mit Englisch und Chinesisch zeigen die Effektivität unseres Ansatzes im Vergleich zu aktuellen Stand-der-Kunst-Methoden bei der Bewertung auf unüberwachtem Parsing.