Unüberwachte rekurrente Neuronale Netze-Grammatiken

Rekurrente neuronale Netzwerkgrammatiken (RNNG) sind generative Modelle der Sprache, die Syntax und Oberflächenstruktur durch inkrementelles Erzeugen eines Syntaxbaums und eines Satzes in einer von oben nach unten, von links nach rechts gerichteten Reihenfolge gemeinsam modellieren. Überwachte RNNGs erzielen starke Leistungen im Sprachmodellieren und Parsing, benötigen aber ein annotiertes Korpus von Parsebäumen. In dieser Arbeit experimentieren wir mit dem unüberwachten Lernen von RNNGs. Da das direkte Marginalisieren über den Raum der latenten Bäume nicht praktikabel ist, wenden wir stattdessen amortisierte variationelle Inferenz an. Um die untere Schranke des Beweises zu maximieren, entwickeln wir ein Inferenznetzwerk, das als neuronales CRF-Konstituentenparser parametrisiert ist. Im Sprachmodellieren erreichen unüberwachte RNNGs vergleichbare Leistungen wie ihre überwachten Gegenstücke bei Benchmarks in Englisch und Chinesisch. Bei der Induktion von Konstituentengrammatiken sind sie wettbewerbsfähig mit aktuellen neuronalen Sprachmodellen, die durch Aufmerksamkeitsmechanismen Baumstrukturen aus Wörtern ableiten.