Robuste mehrsprachige Wortartenkennung durch adversariales Training

Das adversarische Training (AT) ist eine leistungsstarke Regularisierungsmethode für neuronale Netze, die darauf abzielt, Robustheit gegenüber Eingangsperturbationen zu erreichen. Dennoch sind die spezifischen Effekte der durch AT erzielten Robustheit im Kontext der natürlichen Sprachverarbeitung noch nicht vollständig geklärt. In dieser Arbeit schlagen und analysieren wir ein neuronales Modell zur Part-of-Speech-Tagging, das AT nutzt. In unseren Experimenten mit dem Penn Treebank WSJ-Korpus und dem Universal Dependencies (UD)-Datensatz (27 Sprachen) finden wir heraus, dass AT nicht nur die Gesamtgenauigkeit des Taggings verbessert, sondern auch 1) das Überanpassen bei sprachlichen Ressourcen mit geringem Umfang effektiv verhindert und 2) die Genauigkeit des Taggings für seltene oder unbekannte Wörter erhöht. Zudem zeigen wir, dass 3) die durch AT verbesserte Tagging-Leistung den nachgelagerten Aufgaben der Abhängigkeitsanalyse zugutekommt und dass 4) AT das Modell unterstützt, saubere Wörterrepräsentationen zu lernen. 5) Das vorgeschlagene AT-Modell ist generell in verschiedenen sequentiellen Labeling-Aufgaben effektiv. Diese positiven Ergebnisse motivieren eine weitere Nutzung von AT für Aufgaben im Bereich der natürlichen Sprache.