Rekursiver nicht-autoregressiver Graph-zu-Graph-Transformer für die Abhängigkeitsanalyse mit iterativer Verbesserung

Wir stellen die rekursive nicht-autoregressive Graph-to-Graph-Transformer-Architektur (RNGTr) zur iterativen Verbesserung beliebiger Graphen durch rekursive Anwendung eines nicht-autoregressiven Graph-to-Graph-Transformers vor und wenden sie auf die syntaktische Abhängigkeitsanalyse an. Wir demonstrieren die Leistungsfähigkeit und Effektivität von RNGTr an mehreren Abhängigkeitskorpora unter Verwendung eines mit BERT vortrainierten Verbesserungsmodells. Außerdem führen wir den Syntactic Transformer (SynTr) ein, einen nicht-rekursiven Parser, der unserem Verbesserungsmodell ähnelt. RNGTr verbessert die Genauigkeit verschiedener Ausgangsparsen auf 13 Sprachen aus den Universal Dependencies Treebanks, den English- und Chinese-Penn-Treebank-Korpora sowie der deutschen CoNLL2009-Korpus, und erreicht sogar Ergebnisse, die die neuen State-of-the-Art-Ergebnisse von SynTr übertreffen, wodurch die State-of-the-Art-Leistung für alle getesteten Korpora signifikant verbessert wird.