HyperAIHyperAI

Command Palette

Search for a command to run...

Morphosyntaktische Tagging mit einem Meta-BiLSTM-Modell über kontextsensitive Token-Encoding

Bernd Bohnet; Ryan McDonald; Goncalo Simoes; Daniel Andor; Emily Pitler; Joshua Maynez

Zusammenfassung

Der Aufstieg von neuronalen Netzen, insbesondere von rekurrenten neuronalen Netzen, hat zu erheblichen Fortschritten bei der Genauigkeit der Wortartenzuordnung geführt. Eine Eigenschaft, die diesen Modellen gemeinsam ist, sind reichhaltige initiale Wörterkodierungen. Diese Kodierungen bestehen in der Regel aus einer rekurrenten, zeichenbasierten Darstellung mit gelernten und vorab trainierten Worteinbettungen (word embeddings). Allerdings berücksichtigen diese Kodierungen keinen Kontext, der über ein einzelnes Wort hinausgeht, und erst durch nachfolgende rekurrente Schichten interagiert die Worts- oder Subwortsinformation. In dieser Arbeit untersuchen wir Modelle, die rekurrente neuronale Netze mit satzbezogenem Kontext für initiale zeichen- und wortbasierte Darstellungen verwenden. Insbesondere zeigen wir, dass optimale Ergebnisse durch eine synchronisierte Trainingsschritte erreicht werden können, bei denen ein Meta-Modell lernt, ihre Zustände zu kombinieren. Wir präsentieren Ergebnisse zur Wortarten- und morphologischen Zuordnung mit Stand-der-Techik-Leistung auf mehreren Sprachen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp