HyperAIHyperAI
vor 2 Monaten

Multilinguale Part-of-Speech-Tagging mit bidirektionalen Long-Short-Term-Memory-Modellen und Hilfsverlustfunktion

Barbara Plank; Anders Søgaard; Yoav Goldberg
Multilinguale Part-of-Speech-Tagging mit bidirektionalen Long-Short-Term-Memory-Modellen und Hilfsverlustfunktion
Abstract

Bidirektionale Long Short-Term Memory (bi-LSTM)-Netzwerke haben sich kürzlich bei verschiedenen NLP-Sequenzmodellierungsaufgaben als erfolgreich erwiesen, jedoch ist wenig bekannt über ihre Abhängigkeit von Eingaberepräsentationen, Zielsprachen, Datensatzgrößen und Etikettenrauschen. In dieser Arbeit untersuchen wir diese Aspekte und evaluieren bi-LSTMs mit Wort-, Zeichen- und Unicode-Byte-Embeddings für die Part-of-Speech-Tagging (POS-Tagging). Wir vergleichen bi-LSTMs mit traditionellen POS-Tagsystemen in verschiedenen Sprachen und bei unterschiedlichen Datenmengen. Darüber hinaus stellen wir ein neues bi-LSTM-Modell vor, das die POS-Tagging-Fehlerfunktion mit einer zusätzlichen Fehlerfunktion kombiniert, die selten vorkommende Wörter berücksichtigt. Das Modell erzielt den aktuellen Stand der Technik in 22 Sprachen und funktioniert besonders gut für morphologisch komplexe Sprachen. Unsere Analyse deutet darauf hin, dass bi-LSTMs weniger empfindlich gegenüber der Größe des Trainingsdatensatzes und Etikettenverfälschungen (bei geringen Rauschpegeln) sind als bisher angenommen.