Untersuchung nichtlokaler Merkmale für neuronale Constituency-Parsing

Dank der starken Repräsentationskraft neuraler Encoder haben neuronale chart-basierte Parser durch die Nutzung lokaler Merkmale eine hochkonkurrenzfähige Leistung erzielt. Kürzlich wurde gezeigt, dass nicht-lokale Merkmale in CRF-Strukturen zu Verbesserungen führen können. In diesem Paper untersuchen wir, wie nicht-lokale Merkmale in den Trainingsprozess eines lokalen span-basierten Parsers integriert werden können, indem man nicht-lokale Muster als Constituent-n-gram vorhersagt und die Konsistenz zwischen diesen nicht-lokalen Mustern und den lokalen Constituenten gewährleistet. Die Ergebnisse zeigen, dass unsere einfache Methode sowohl auf PTB als auch auf CTB eine bessere Leistung als der selbst-attentive Parser erzielt. Zudem erreicht unsere Methode eine state-of-the-art BERT-basierte Leistung auf PTB (95,92 F1) und eine starke Leistung auf CTB (92,31 F1). Außerdem erzielt unser Parser in mehrsprachigen und zero-shot cross-domain Szenarien eine bessere oder wettbewerbsfähige Leistung im Vergleich zur Basislinie.