Zweiter Ordnung Unüberwachtes Neuronales Abhängigkeitsparsing

Die meisten unüberwachten Abhängigkeitsparser basieren auf erster-Ordnungs wahrscheinlichkeitstheoretischen Generativen Modellen, die nur lokale Eltern-Kind-Informationen berücksichtigen. Inspiriert durch zweiter-Ordnungs überwachte Abhängigkeitsanalyse, schlugen wir eine zweiter-Ordnungs Erweiterung von unüberwachten neuronalen Abhängigkeitsmodellen vor, die Großeltern-Kind- oder Geschwisterinformationen einbezieht. Wir schlagen zudem eine neuartige Gestaltung der neuronalen Parametrisierung und Optimierungsverfahren der Abhängigkeitsmodelle vor. In zweiter-Ordnungs Modellen wächst die Anzahl der Grammatikregeln kubisch mit dem Anstieg des Wortschatzes, was es schwierig macht, lexikalisierte Modelle zu trainieren, die möglicherweise Tausende von Wörtern enthalten. Um dieses Problem zu umgehen und gleichzeitig von sowohl der zweiter-Ordnungs Analyse als auch der Lexikalisation zu profitieren, verwenden wir den abstimmungsbasierten Lernrahmen, um ein zweiter-Ordnungs unlexikalisiertes Modell und ein erstes Ordnungs lexikalisiertes Modell gemeinsam zu trainieren. Experimente mit mehreren Datensätzen zeigen die Effektivität unserer zweiter-Ordnungs Modelle im Vergleich zu aktuellen Stand-of-the-Art Methoden. Unser gemeinsames Modell erreicht eine Verbesserung von 10 % gegenüber dem bisher besten Parser auf dem vollständigen WSJ Testdatensatz.