Verbesserung des neuronalen RST-Parsing-Modells durch Silber-Übereinstimmungs-Subbäume
{Masaaki Nagata Manabu Okumura Hidetaka Kamigaito Tsutomu Hirao Naoki Kobayashi}

Abstract
Die meisten bisherigen Ansätze zur Rhetorical Structure Theory (RST)-Parsing basieren auf überwachtem Lernen, beispielsweise neuronalen Netzwerken, die eine ausreichend große und qualitativ hochwertige annotierte Korpusdatenmenge erfordern. Der RST Discourse Treebank (RST-DT), der Standardbenchmark für den RST-Parsing im Englischen, ist jedoch aufgrund der kostenintensiven Annotation von RST-Bäumen klein. Der Mangel an großskaligen annotierten Trainingsdaten führt zu einer schlechten Leistung, insbesondere bei der Relationenklassifizierung. Daher schlagen wir eine Methode vor, die neuronale RST-Parsing-Modelle durch Ausnutzung von Silberdaten – also automatisch annotierten Daten – verbessert. Wir generieren eine großskalige Silberdatenmenge aus einem ungelabelten Korpus mittels eines modernen RST-Parsers. Um qualitativ hochwertige Silberdaten zu erhalten, extrahieren wir Übereinstimmungsunterbäume aus den RST-Bäumen, die für Dokumente mittels RST-Parsern erstellt wurden. Anschließend prätrainieren wir einen neuronalen RST-Parser mit den gewonnenen Silberdaten und feinjustieren ihn anschließend am RST-DT. Experimentelle Ergebnisse zeigen, dass unsere Methode die besten Mikro-F1-Scores für Nuclearität und Relation mit 75,0 beziehungsweise 63,2 erreichte. Zudem erzielten wir eine bemerkenswerte Steigerung des Relation-Scores um 3,0 Punkte im Vergleich zum bisherigen Stand der Technik.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| discourse-parsing-on-rst-dt | Top-down Span-based Parser with Silver Agreement Subtrees | RST-Parseval (Full): 61.8 RST-Parseval (Nuclearity): 74.7 RST-Parseval (Relation): 62.5 RST-Parseval (Span): 86.8 |
| discourse-parsing-on-rst-dt | Top-down Span-based Parser with Silver Agreement Subtrees (ensemble) | RST-Parseval (Full): 62.6 RST-Parseval (Nuclearity): 75.0 RST-Parseval (Relation): 63.2 RST-Parseval (Span): 87.1 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.