Verbesserung des unsupervisierten generativen Abhängigkeitsparsers durch kontextuelle Information

Die meisten unüberwachten Abhängigkeitsparser basieren auf probabilistischen generativen Modellen, die die gemeinsame Verteilung eines gegebenen Satzes und seiner Parse-Struktur lernen. Probabilistische generative Modelle zerlegen die gewünschte Abhängigkeitsstruktur in der Regel explizit in faktorisierte Grammatikregeln, die über die globalen Merkmale des gesamten Satzes verfügen. In diesem Paper stellen wir ein neuartiges probabilistisches Modell namens discriminative neural dependency model with valence (D-NDMV) vor, das einen Satz und dessen Parse aus einer kontinuierlichen latente Darstellung erzeugt, welche die globale Kontextinformation des generierten Satzes kodiert. Wir schlagen zwei Ansätze zur Modellierung der latenten Darstellung vor: Der erste summarisiert deterministisch die Darstellung aus dem Satz, während der zweite die Darstellung bedingt auf den Satz probabilistisch modelliert. Unser Ansatz kann als eine neue Art von Autoencoder-Modell für unüberwachten Abhängigkeitsparser betrachtet werden, das die Vorteile sowohl generativer als auch diskriminativer Techniken vereint. Insbesondere bricht unser Ansatz die kontextfreie Unabhängigkeitsannahme früherer generativer Ansätze auf und wird dadurch ausdrucksstärker. Unsere umfassenden experimentellen Ergebnisse auf siebzehn Datensätzen verschiedener Quellen zeigen, dass unser Ansatz eine konkurrenzfähige Genauigkeit im Vergleich sowohl zu generativen als auch zu diskriminativen state-of-the-art-Modellen für unüberwachten Abhängigkeitsparser erreicht.