HyperAIHyperAI
vor 2 Monaten

Eine einfache und starke Baseline für die end-to-end neuronale RST-artige Diskursanalyse

Naoki Kobayashi; Tsutomu Hirao; Hidetaka Kamigaito; Manabu Okumura; Masaaki Nagata
Eine einfache und starke Baseline für die end-to-end neuronale RST-artige Diskursanalyse
Abstract

Um die Förderung und Weiterentwicklung von RST-artigen Diskursanalysemodellen zu unterstützen, benötigen wir eine robuste Baseline, die als Referenz für die Berichterstattung zuverlässiger experimenteller Ergebnisse dienen kann. Dieses Papier untersucht eine solche robuste Baseline durch die Integration bestehender einfacher Parsing-Strategien, sowohl top-down als auch bottom-up, mit verschiedenen auf Transformer basierenden vorab trainierten Sprachmodellen. Die aus zwei Benchmark-Datensätzen gewonnenen experimentellen Ergebnisse zeigen, dass die Parsing-Leistung stark von den vorab trainierten Sprachmodellen abhängt und weniger von den Parsing-Strategien. Insbesondere erreicht der bottom-up Parser bei der Verwendung von DeBERTa erhebliche Leistungsverbesserungen im Vergleich zum aktuellen besten Parser. Unsere Analyse innerhalb des intra- und multisentenziellen Parsings sowie der Nuklearitätsprediktion ergibt zudem, dass Sprachmodelle mit einem Span-Masking-Schema die Parsing-Leistung besonders steigern.

Eine einfache und starke Baseline für die end-to-end neuronale RST-artige Diskursanalyse | Neueste Forschungsarbeiten | HyperAI