HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verbesserung des neuronalen RST-Parsing-Modells durch Silber-Übereinstimmungs-Subbäume

{Masaaki Nagata Manabu Okumura Hidetaka Kamigaito Tsutomu Hirao Naoki Kobayashi}

Verbesserung des neuronalen RST-Parsing-Modells durch Silber-Übereinstimmungs-Subbäume

Abstract

Die meisten bisherigen Ansätze zur Rhetorical Structure Theory (RST)-Parsing basieren auf überwachtem Lernen, beispielsweise neuronalen Netzwerken, die eine ausreichend große und qualitativ hochwertige annotierte Korpusdatenmenge erfordern. Der RST Discourse Treebank (RST-DT), der Standardbenchmark für den RST-Parsing im Englischen, ist jedoch aufgrund der kostenintensiven Annotation von RST-Bäumen klein. Der Mangel an großskaligen annotierten Trainingsdaten führt zu einer schlechten Leistung, insbesondere bei der Relationenklassifizierung. Daher schlagen wir eine Methode vor, die neuronale RST-Parsing-Modelle durch Ausnutzung von Silberdaten – also automatisch annotierten Daten – verbessert. Wir generieren eine großskalige Silberdatenmenge aus einem ungelabelten Korpus mittels eines modernen RST-Parsers. Um qualitativ hochwertige Silberdaten zu erhalten, extrahieren wir Übereinstimmungsunterbäume aus den RST-Bäumen, die für Dokumente mittels RST-Parsern erstellt wurden. Anschließend prätrainieren wir einen neuronalen RST-Parser mit den gewonnenen Silberdaten und feinjustieren ihn anschließend am RST-DT. Experimentelle Ergebnisse zeigen, dass unsere Methode die besten Mikro-F1-Scores für Nuclearität und Relation mit 75,0 beziehungsweise 63,2 erreichte. Zudem erzielten wir eine bemerkenswerte Steigerung des Relation-Scores um 3,0 Punkte im Vergleich zum bisherigen Stand der Technik.

Benchmarks

BenchmarkMethodikMetriken
discourse-parsing-on-rst-dtTop-down Span-based Parser with Silver Agreement Subtrees
RST-Parseval (Full): 61.8
RST-Parseval (Nuclearity): 74.7
RST-Parseval (Relation): 62.5
RST-Parseval (Span): 86.8
discourse-parsing-on-rst-dtTop-down Span-based Parser with Silver Agreement Subtrees (ensemble)
RST-Parseval (Full): 62.6
RST-Parseval (Nuclearity): 75.0
RST-Parseval (Relation): 63.2
RST-Parseval (Span): 87.1

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verbesserung des neuronalen RST-Parsing-Modells durch Silber-Übereinstimmungs-Subbäume | Forschungsarbeiten | HyperAI