HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptation des modèles Sequence to Sequence pour la normalisation du texte dans les médias sociaux

Ismini Lourentzou Kabir Manghnani ChengXiang Zhai

Résumé

Les réseaux sociaux offrent une source abondante de données brutes précieuses, mais l'écriture informelle peut rapidement devenir un goulot d'étranglement pour de nombreuses tâches de traitement du langage naturel (NLP). Les outils prêts à l'emploi sont généralement formés sur des textes formels et ne peuvent pas traiter explicitement le bruit présent dans les courts messages en ligne. De plus, la variété des variations linguistiques fréquemment rencontrées présente plusieurs défis, même pour les humains qui peuvent avoir du mal à comprendre le sens de ces messages, en particulier lorsqu'ils contiennent des argot et des abréviations. La normalisation du texte vise à transformer le texte généré par les utilisateurs en ligne en une forme canonique. Les systèmes actuels de normalisation du texte s'appuient sur la similarité phonétique ou lexicale et sur des modèles de classification qui fonctionnent de manière locale. Nous soutenons que le traitement des informations contextuelles est crucial pour cette tâche et nous introduisons un modèle hybride d'encodeur-décodeur basé sur l'attention au niveau des mots et des caractères pour la normalisation du texte des réseaux sociaux, capable de servir comme étape préliminaire pour les applications NLP afin d'adapter aux textes bruyants présents sur les réseaux sociaux. Notre composant basé sur les caractères est formé sur des exemples adverses synthétiques conçus pour capturer les erreurs couramment trouvées dans le texte généré par les utilisateurs en ligne. Les expériences montrent que notre modèle dépasse les architectures neuronales conçues pour la normalisation du texte et atteint une performance comparable aux travaux les plus avancés dans ce domaine.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Adaptation des modèles Sequence to Sequence pour la normalisation du texte dans les médias sociaux | Articles | HyperAI