HyperAIHyperAI

Command Palette

Search for a command to run...

Anpassung von Sequenz-zu-Sequenz-Modellen für die Textnormalisierung in sozialen Medien

Ismini Lourentzou Kabir Manghnani ChengXiang Zhai

Zusammenfassung

Soziale Medien bieten eine reichhaltige Quelle wertvoller Rohdaten, jedoch kann informelles Schreiben schnell zu einer Flaschenhalsbeschränkung für viele Aufgaben der natürlichen Sprachverarbeitung (NLP) werden. Standardwerkzeuge sind in der Regel auf formellen Text trainiert und können das Rauschen, das in kurzen Online-Beiträgen vorkommt, nicht explizit verarbeiten. Darüber hinaus stellen die vielfältigen sprachlichen Variationen, die häufig auftreten, auch für Menschen mehrere Herausforderungen dar, insbesondere wenn sie umgangssprachliche Ausdrücke und Abkürzungen enthalten. Die Textnormalisierung zielt darauf ab, von Nutzern generierten Text aus sozialen Medien in eine kanonische Form zu transformieren. Aktuelle Textnormalisierungssysteme basieren auf string- oder phonetischer Ähnlichkeit und klassifizierenden Modellen, die lokal arbeiten. Wir argumentieren, dass die Verarbeitung kontextueller Informationen für diese Aufgabe entscheidend ist, und stellen ein hybrides Wort-Zeichen-Aufmerksamkeitsmodell vor, das als Vorverarbeitungsschritt für NLP-Anwendungen dienen kann, um sich an den rauscharmen Text in sozialen Medien anzupassen. Unser zeichenbasierter Komponente wird an synthetischen feindlichen Beispielen trainiert, die darauf ausgelegt sind, Fehler zu erfassen, die häufig in von Nutzern generierten Online-Texten vorkommen. Experimente zeigen, dass unser Modell neuronale Architekturen übertrifft, die für die Textnormalisierung entwickelt wurden, und vergleichbare Leistungen mit dem aktuellen Stand der Forschung erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp