Morphosyntaktische Tagging mit einem Meta-BiLSTM-Modell über kontextsensitive Token-Encoding

Der Aufstieg von neuronalen Netzen, insbesondere von rekurrenten neuronalen Netzen, hat zu erheblichen Fortschritten bei der Genauigkeit der Wortartenzuordnung geführt. Eine Eigenschaft, die diesen Modellen gemeinsam ist, sind reichhaltige initiale Wörterkodierungen. Diese Kodierungen bestehen in der Regel aus einer rekurrenten, zeichenbasierten Darstellung mit gelernten und vorab trainierten Worteinbettungen (word embeddings). Allerdings berücksichtigen diese Kodierungen keinen Kontext, der über ein einzelnes Wort hinausgeht, und erst durch nachfolgende rekurrente Schichten interagiert die Worts- oder Subwortsinformation. In dieser Arbeit untersuchen wir Modelle, die rekurrente neuronale Netze mit satzbezogenem Kontext für initiale zeichen- und wortbasierte Darstellungen verwenden. Insbesondere zeigen wir, dass optimale Ergebnisse durch eine synchronisierte Trainingsschritte erreicht werden können, bei denen ein Meta-Modell lernt, ihre Zustände zu kombinieren. Wir präsentieren Ergebnisse zur Wortarten- und morphologischen Zuordnung mit Stand-der-Techik-Leistung auf mehreren Sprachen.