Training mit Exploration verbessert einen gierigen Stack-LSTM-Parser

Wir passen den gierigen Stack-LSTM-Abhängigkeitsparser von Dyer et al. (2015) an, um ein Trainingsverfahren mit Exploration unter Verwendung dynamischer Orakel (Goldberg und Nivre, 2013) zu unterstützen, anstelle der Minimierung der Kreuzentropie. Diese Form des Trainings, die die Modellvorhersagen während des Trainings berücksichtigt und nicht eine fehlerfreie Aktionshistorie voraussetzt, verbessert die Parsinggenauigkeit sowohl für Englisch als auch für Chinesisch und erzielt sehr starke Ergebnisse in beiden Sprachen. Wir diskutieren einige notwendige Änderungen, um das Training mit Exploration für ein wahrscheinlichkeitstheoretisches neuronales Netzwerk effektiv zu gestalten.