Was lernen rekurrente neuronale Netze über Syntax?

Rekurrente neuronale Netzwerkgrammatiken (RNNG) sind eine kürzlich vorgeschlagene Familie wahrscheinlichkeitstheoretischer generativer Modelle für natürliche Sprache. Sie zeigen eine Spitzenleistung im Bereich der Sprachmodellierung und des Parsings. In dieser Studie untersuchen wir aus linguistischer Sicht, welche Informationen sie lernen, indem wir verschiedene Abstriche am Modell und den Daten vornehmen und das Modell durch einen Aufmerksamkeitsmechanismus (GA-RNNG) erweitern, um eine detailliertere Analyse zu ermöglichen. Wir stellen fest, dass die explizite Modellierung von Kompositionen entscheidend ist, um die beste Leistung zu erzielen. Über den Aufmerksamkeitsmechanismus finden wir heraus, dass die Ausrichtung (Headedness) eine zentrale Rolle in der phrasalen Repräsentation spielt (wobei die latente Aufmerksamkeit des Modells weitgehend mit den Vorhersagen handgefertigter Head-Regeln übereinstimmt, wenngleich es einige wichtige Unterschiede gibt). Durch das Training von Grammatiken ohne nichtterminale Kennzeichnungen entdecken wir, dass phrasale Repräsentationen nur minimal von Nichtterminalen abhängen, was die Hypothese der Endozentrik unterstützt.