Verbesserung der Robustheit der Sequenzmarkierung mittels maskierter adversarischer Trainierung

Adversariales Training (AT) hat starke Regularisierungseffekte auf Deep-Learning-Algorithmen gezeigt, indem kleine Eingabestörungen eingeführt werden, um die Robustheit des Modells zu verbessern. Bei Sprachaufgaben erzielt adversariales Training Wortniveau-Robustheit durch Hinzufügen von Eingabestörungen, was für Textklassifikation vorteilhaft ist. Es fehlt jedoch an ausreichender Verbesserung kontextueller Informationen und ist daher weniger geeignet für Sequenzmarkierungsaufgaben wie Chunking und Named Entity Recognition (NER). Um diese Einschränkung zu überwinden, schlagen wir maskeiertes adversariales Training (MAT) vor, um die Robustheit in Sequenzmarkierungsaufgaben durch verbesserte Nutzung kontextueller Information zu erhöhen. Bei MAT maskiert oder ersetzt das Verfahren bestimmte Wörter in einem Satz, wenn der adversarielle Verlust aus gestörten Eingaben berechnet wird, wodurch die Modellrobustheit durch stärkeren Einsatz kontextbasierter Informationen gesteigert wird. In unseren Experimenten zeigt unsere Methode signifikante Verbesserungen hinsichtlich Genauigkeit und Robustheit bei der Sequenzmarkierung. Durch die zusätzliche Integration von ELMo-Embeddings erreicht unser Modell Ergebnisse, die mit den besten Stand der Technik auf den CoNLL-2000- und CoNLL-2003-Benchmarks vergleichbar oder sogar besser sind, wobei dabei deutlich weniger Parameter verwendet werden.