Analyse de l'évolution des modèles de langage avancés basés sur les transformateurs : Expériences en minage d'opinions

L'analyse d'opinions, également connue sous le nom d'analyse de sentiments, est une sous-discipline du traitement automatique des langues (TAL) qui se concentre sur l'identification et l'extraction d'informations subjectives dans les documents textuels. Cela peut inclure la détermination du sentiment global d'un texte (par exemple, positif ou négatif), ainsi que l'identification des émotions ou des opinions spécifiques exprimées dans le texte, ce qui implique l'utilisation de techniques avancées d'apprentissage automatique et d'apprentissage profond. Récemment, les modèles de langage basés sur les transformateurs ont rendu cette tâche d'analyse des émotions humaines plus intuitive, grâce au mécanisme d'attention et au calcul parallèle. Ces avantages rendent ces modèles très puissants pour les tâches linguistiques, contrairement aux réseaux neuronaux récurrents qui consacrent beaucoup de temps au traitement séquentiel, ce qui les rend vulnérables lorsqu'il s'agit de traiter des textes longs. L'objectif de notre article est d'étudier le comportement des modèles de langage basés sur les transformateurs les plus récents en analyse d'opinions et de fournir une comparaison de haut niveau entre eux afin de mettre en lumière leurs caractéristiques clés. De plus, notre étude comparative offre des orientations aux ingénieurs en production concernant l'approche à privilégier et est utile pour les chercheurs car elle fournit des lignes directrices pour les sujets de recherche futurs.