Classification pratique du texte avec des modèles de langage pré-entraînés de grande taille

La classification de sentiments multi-émotions est un problème de traitement du langage naturel (NLP) avec des cas d'usage précieux sur des données réelles. Nous démontrons que la modélisation linguistique à grande échelle non supervisée combinée à l'affinage offre une solution pratique à cette tâche sur des jeux de données difficiles, y compris ceux présentant un déséquilibre des classes d'étiquettes et un contexte spécifique au domaine. En formant un réseau Transformer basé sur l'attention (Vaswani et al., 2017) sur 40 Go de texte (avis Amazon) (McAuley et al., 2015) et en affinant le modèle sur l'ensemble d'entraînement, notre modèle atteint un score F1 de 0,69 sur le problème de classification émotionnelle multidimensionnelle SemEval Task 1:E-c (Mohammad et al., 2018), basé sur la roue des émotions de Plutchik (Plutchik, 1979). Ces résultats sont compétitifs par rapport aux modèles les plus avancés, notamment avec des scores F1 élevés pour des catégories d'émotions difficiles telles que la Peur (0,73), le Dégoût (0,77) et la Colère (0,78), ainsi que des résultats compétitifs pour des catégories rares comme l'Anticipation (0,42) et la Surprise (0,37). De plus, nous démontrons notre application dans une tâche de classification de texte réel. Nous créons un jeu de données textuel collecté étroitement comprenant des tweets réels sur plusieurs sujets et montrons que notre modèle affiné surpassent les API commerciales généralistes pour la classification de sentiments et d'émotions multidimensionnelles sur ce jeu de données avec une marge significative. Nous menons également diverses études supplémentaires, examinant les propriétés des architectures d'apprentissage profond, des jeux de données et des algorithmes permettant d'atteindre une classification émotionnelle multidimensionnelle pratique. Dans l'ensemble, nous constatons que la modélisation linguistique non supervisée à grande échelle et l'affinage constituent un cadre simple pour obtenir des résultats de haute qualité dans la classification de sentiments réels.