HyperAIHyperAI

Command Palette

Search for a command to run...

Robuste mehrsprachige Wortartenkennung durch adversariales Training

Michihiro Yasunaga; Jungo Kasai; Dragomir Radev

Zusammenfassung

Das adversarische Training (AT) ist eine leistungsstarke Regularisierungsmethode für neuronale Netze, die darauf abzielt, Robustheit gegenüber Eingangsperturbationen zu erreichen. Dennoch sind die spezifischen Effekte der durch AT erzielten Robustheit im Kontext der natürlichen Sprachverarbeitung noch nicht vollständig geklärt. In dieser Arbeit schlagen und analysieren wir ein neuronales Modell zur Part-of-Speech-Tagging, das AT nutzt. In unseren Experimenten mit dem Penn Treebank WSJ-Korpus und dem Universal Dependencies (UD)-Datensatz (27 Sprachen) finden wir heraus, dass AT nicht nur die Gesamtgenauigkeit des Taggings verbessert, sondern auch 1) das Überanpassen bei sprachlichen Ressourcen mit geringem Umfang effektiv verhindert und 2) die Genauigkeit des Taggings für seltene oder unbekannte Wörter erhöht. Zudem zeigen wir, dass 3) die durch AT verbesserte Tagging-Leistung den nachgelagerten Aufgaben der Abhängigkeitsanalyse zugutekommt und dass 4) AT das Modell unterstützt, saubere Wörterrepräsentationen zu lernen. 5) Das vorgeschlagene AT-Modell ist generell in verschiedenen sequentiellen Labeling-Aufgaben effektiv. Diese positiven Ergebnisse motivieren eine weitere Nutzung von AT für Aufgaben im Bereich der natürlichen Sprache.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Robuste mehrsprachige Wortartenkennung durch adversariales Training | Paper | HyperAI