HyperAIHyperAI

Command Palette

Search for a command to run...

Classification pratique du texte avec des modèles de langage pré-entraînés de grande taille

Vaswani et al.

Résumé

La classification de sentiments multi-émotions est un problème de traitement du langage naturel (NLP) avec des cas d'usage précieux sur des données réelles. Nous démontrons que la modélisation linguistique à grande échelle non supervisée combinée à l'affinage offre une solution pratique à cette tâche sur des jeux de données difficiles, y compris ceux présentant un déséquilibre des classes d'étiquettes et un contexte spécifique au domaine. En formant un réseau Transformer basé sur l'attention (Vaswani et al., 2017) sur 40 Go de texte (avis Amazon) (McAuley et al., 2015) et en affinant le modèle sur l'ensemble d'entraînement, notre modèle atteint un score F1 de 0,69 sur le problème de classification émotionnelle multidimensionnelle SemEval Task 1:E-c (Mohammad et al., 2018), basé sur la roue des émotions de Plutchik (Plutchik, 1979). Ces résultats sont compétitifs par rapport aux modèles les plus avancés, notamment avec des scores F1 élevés pour des catégories d'émotions difficiles telles que la Peur (0,73), le Dégoût (0,77) et la Colère (0,78), ainsi que des résultats compétitifs pour des catégories rares comme l'Anticipation (0,42) et la Surprise (0,37). De plus, nous démontrons notre application dans une tâche de classification de texte réel. Nous créons un jeu de données textuel collecté étroitement comprenant des tweets réels sur plusieurs sujets et montrons que notre modèle affiné surpassent les API commerciales généralistes pour la classification de sentiments et d'émotions multidimensionnelles sur ce jeu de données avec une marge significative. Nous menons également diverses études supplémentaires, examinant les propriétés des architectures d'apprentissage profond, des jeux de données et des algorithmes permettant d'atteindre une classification émotionnelle multidimensionnelle pratique. Dans l'ensemble, nous constatons que la modélisation linguistique non supervisée à grande échelle et l'affinage constituent un cadre simple pour obtenir des résultats de haute qualité dans la classification de sentiments réels.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp