HyperAIHyperAI

Command Palette

Search for a command to run...

DaCy: Ein einheitlicher Rahmen für die dänische NLP

Kenneth Enevoldsen Lasse Hansen Kristoffer Nielbo

Zusammenfassung

In den letzten Jahren konnten dänische Natural Language Processing (NLP)-Systeme erhebliche Fortschritte erzielen, insbesondere durch die Einführung mehrerer neuer Datensätze und Modelle. Derzeit existiert jedoch kein kohärentes Framework zur Anwendung von state-of-the-art-Modellen für die dänische Sprache. Wir präsentieren DaCy: ein einheitliches Framework für dänisches NLP, das auf SpaCy basiert. DaCy nutzt effiziente Multitask-Modelle, die state-of-the-art-Leistung bei der Namensentitäts-Erkennung, Part-of-Speech-Tagging und Abhängigkeitsanalyse erzielen. Das Framework enthält Tools zur einfachen Integration bestehender Modelle, beispielsweise für Polarisierung, Emotions- oder Subjektivitätserkennung. Zudem führen wir eine Reihe von Tests zur Bias- und Robustheitsevaluation dänischer NLP-Pipelines durch, indem wir den Testdatensatz von DaNE augmentieren. DaCy Large zeigt sich gegenüber anderen Modellen besonders robust gegenüber langen Eingabewörtern sowie Rechtschreibvariationen und -fehlern. Alle Modelle außer DaCy Large weisen erhebliche Bias-Effekte im Zusammenhang mit Ethnizität auf, während nur Polyglot einen signifikanten Geschlechtsbias aufweist. Wir argumentieren, dass für Sprachen mit begrenzten Benchmark-Sets die Daten-Augmentation besonders nützlich sein kann, um realistischere und feinere Leistungsschätzungen zu erhalten. Wir stellen eine Reihe von Augmentern bereit, als erster Schritt hin zu einer umfassenderen Evaluation von Sprachmodellen für Sprachen mit geringen und mittleren Ressourcen, und fordern weitere Entwicklungen in dieser Richtung heraus.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp